Levenberg-Marquardt法和十倍交叉验证法哪个比较好!

用来学习的样本集通过匹配一些参数来建立一个分类器

验证集是用来调整分类器的参数的样本集,比如在神经网络中选择隐藏单元数验证集还用来确定网络结构或者控制模型复杂程度的参数

测试集纯粹是为了测试已经训练好的模型的分类能力的样本集。

一般验证集在十倍交叉验证法里应用的比较多:

利用十倍交叉验证法方法选择模型思路是:使用训练集(trainset)数据所有候选模型进行参数估计使用验证集(validationset)为检验样本,然后计算预测均方误差比较各个模型的预测均方误差,选择预测均方误差最小的拟合模型为选择模型

LM(Levenberg-Marquardt)算法属于信赖域法将变量行走嘚长度 控制在一定的信赖域之内,保证泰勒展开有很好的近似效果
LM算法使用了一种带阻尼的高斯-牛顿方法。

去掉高阶项带入到 :

阻尼法的的思想是再加入一个阻尼项 :

对上式求偏导数,并令为0.

/* 要求的三个参数 */ /* 生产带有高斯噪声的数据 */ /* 添加到观测中 */

我要回帖

更多关于 十倍交叉验证法 的文章

 

随机推荐