跳转至

模型评估与选择

约 147 个字 预计阅读时间不到 1 分钟

1.经验误差与过拟合

精度,误差,过拟合,欠拟合

2.评估方法

2.1 留出法

2.2 交叉验证法(cross validation)

k折交叉验证

LOO留一法

2.3 自助法(bootstrapping)

包外估计

2.4 调参与最终模型

3.性能度量

3.1 错误率与精度

3.2 查准率、查全率、F1

3.3 ROC与AUC

3.4 代价敏感错误率与代价曲线

4.比较检验

4.1 假设检验

二项分布,t分布

4.2 交叉验证t检验

4.3 McNemar检验

4.4 Friedman检验与Nemenyi后续检验

5.偏差与方差