目录

前因

​编辑​编辑

解决办法

类比思想

小白第一次发文，有错误欢迎指出。

前因

看吴恩达老师机器学习的模型选择与交叉验证训练集之后的总结

在通过数据来拟合图像的时候会遇到一个这么一个问题。

如图此函数虽然可以几乎完美的拟合训练集但是他的泛性可能会很低，这就是拟合中的常见问题——过拟合。

1. 通过训练集来求代价函数的最小值，从而得出来d(函数的最大次方) 为4，听起来好像是对的，解决了问题，but，训练集只能用来训练w和b，不能用来判断w的最高次也就是d等于多少，这个方法就是用训练集来优化d，而d是一个老师设置的另外的参数，不参与计算，所以这是不可取的。那怎么办呢？
2. 解决办法
3. 通过设置训练集以及交叉验证集来优化，大概分布如上
4. 此时通过训练集来拟合w与b ，同时重新再利用交叉验证集来判断d的大小，这样就可以同时确定w,b,d，因为在拟合w与b的时候交叉验证集没有参与计算，故w和b不受其影响。
5. 类比思想
6. 同样的思想可以类比神经网络来确定它的隐藏层，用所有的数据进行分类，再用交叉验证集带入计算求jcv(W_i,B_i)最小值，来判断最优的神经网络结构。