公大笑乐该如何理解解Normalization,Regularization 和 standardization

(灿烈小娇妻)
(灿烈小娇妻)
(笨人煮酒666)
(伊游yiyo)
(伊游yiyo)
第三方登录:您所在位置: &
&nbsp&&nbsp&nbsp&&nbsp
法官队伍正规化问题研究.pdf 53页
本文档一共被下载:
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
需要金币:250 &&
你可能关注的文档:
··········
··········
. . .? ,
t ' . . ?' i?, 、
茜心V餐, ?
满秦敵; ^
T- v讀與护v?.
. . 满古 .
r 為審 誦??t
正在加载中,请稍后...当前位置: &
正规化的英文
音标:[ zhèngguihua ]&&
英文翻译 be put on a regular basis&&&&variable normalization&&&&standard normalization&&&&simple normalization&&&&second normal form&&&&third normal form&&&&first normal form&&&&local regularization&&&&global regularization&&&&normalization of production&&&&orthonormality&&&&normalized variate&&&&normalized variable&&&&normalization constant&&&&normalized length&&&&reduced admittance&&&& normalized&&&&normalization theorem&&&&normalized equation&&&&normalized distribution&&&&normalization rule&&&&regulator&&&&normalized basis&&&&normalized matrix&&&&normalization routine&&&&normal family of functions&&&& regular function
关注微信公众号:chachacidian,即可查询单词
例句与用法Push the college journal ' s regularized construction积极推进高校校报的正规化建设Normalized length of an attribute specification list属性规格列表的正规化长度Returns the normalized form of the specified quaternion返回指定四元数的正规化形式。 Everybody ' s first book on regularization theory每个人都该有的第一本研究正规化理论的书。 Chinese private enterprise s should be regularly managed我国私营企业的发展要走正规化管理之路Normalizes the current quaternion对当前四元数进行正规化。 Form a revolutionary , modernized and regularized people s army努力建成一支革命化现代化正规化的人民军队Public security higher education is a necessary way to establish a normal staff公安高等教育是公安队伍正规化建设的必由之路Now our own state had been established and our red army had become a regular army现在我们的国家已成立了,我们的红军已正规化了。 A brief , somewhat unorthodox , review of regularization theory is presented一开始我们会多多少少非正统地简要的回顾一下正规化理论。 更多例句:&&1&&&&&&&&&&
百科解释物理学中,尤其是量子场论,正规化(regularization)是一项处理无限大、发散以及一些不合理表示式的方法,其方法透过引入一项辅助性的概念??正规子(regulator)。举例来说,若短距离物理效应出现发散,则设定一项空间中最小距离epsilon ,来解决这情形。详细百科解释
:régularisation:[zhèngguīhuà] стандартизация
相邻词汇热门词汇
正规化的英文翻译,正规化英文怎么说,怎么用英语翻译正规化,正规化的英文意思,,,发音,例句,用法和解释由查查在线词典提供,版权所有违者必究。
&&&&&&&&&&&&&&&&
Copyright &
(京ICP备号)
All rights reserved正则化(Regularization)、归一化(也有称为正规化/标准化,Normalization)是对数据尽心预处理的方式,他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果,但并不改变问题的本质,下面对他们的作用分别做一下科普,如有不正确之处,求指正!
需要注意的是,这些名词在不同的领域含义也有点区别,这里仅仅指的是在进行机器学习研究的时候所使用的意义。
一、正则化(Regularization)
李航博士在《统计学习方法》中提到,统计学习的三要素是模型、策略和算法,在机器学习领域,这个“模型”就是我们要求解的概率分布或决策函数。
假设我们现在要求一个逻辑回归问题,首先我们要做的是假设一个函数,可以覆盖所有的可能:y=wxy=wx,其中w为参数向量,xx为已知样本的向量,如果用yiyi表示第ii个样本的真实值,用f(xi)f(xi)表示样本的预测值,那么我们的损失函数可以定义为:
L(yi,f(xi))=yi-sigmoid(xi)L(yi,f(xi))=yi-sigmoid(xi)
这里可以不用关心这个函数是什么意思,就知道代表误差就行了。对于该模型y=wxy=wx的所有样本的损失平均值成为“经验风险”(empirical
risk)或”经验损失”(empirical loss)。很显然,经验风险最小化(empirical risk minimization,ERM)就是求解最优模型的原则。为了达到这个目的,模型的设定会越来越复杂,最后造成该模型只适用于当前的样本集(即over-fitting,过拟合)。
为了解决过拟合问题,通常有两种办法,第一是减少样本的特征(即维度),第二就是我们这里要说的”正则化“(又称为”惩罚“,penalty)。
正则化的一般形式是在整个平均损失函数后增加一个正则项(L2范数正则化,也有其他形式的正则化,他们的作用也不同):
Rerm=1N(∑iNL(yi,f(xi))+∑inλw2i)Rerm=1N(∑iNL(yi,f(xi))+∑inλwi2)
后面的∑niλw2i∑inλwi2就是正则化项,其中λλ越大表明惩罚粒度越大,等于0表示不做惩罚,N表示所有样本的数量,n表示参数的个数。
从下面的图中,可以很明显的看出正则化函数的作用:
λ=0λ=0的情况,即没有正则化
λ=1λ=1的情况,即合适的惩罚
λ=100λ=100,过度惩罚,出现欠拟合问题
上面提到,我们还有其他形式的正则化,如L1范式正则化,可以用来筛选参数,这个日后再通过额外的文章来介绍。
二、归一化(Normalization)
我们在对数据进行分析的时候,往往会遇到单个数据的各个维度量纲不同的情况,比如对房子进行价格预测的线性回归问题中,我们假设房子面积(平方米)、年代(年)和几居室(个)三个因素影响房价,其中一个房子的信息如下:
面积(S):150 平方米
年代(Y):5 年
假设我们把该问题作为一个逻辑回归问题y=wxy=wx来求解,使用梯度下降来求解ww的最优值。
效率比较高的梯度下降方法中,每次下降应该尽可能的往最优点靠近,假设下降距离函数为:
distance=λ|Δ\*|distance=λ|Δ\*|
表示梯度的模,表示梯度的模,\lambda$表示步长,如果两个向量的取值范围差别特别大,那么这两个向量的图像会显得很“细长”:
我们的梯度在寻找最优值的时候,由于图像“细长”,所以要来回找垂直线,两个维度范围相差的越大,梯度下降的越慢,还可能永远无法收敛。
为了解决这个问题,假如我们把所有的数据范围都是用归一化处理在0到1的区间内(也可以是0到10等其他范围,但一般是0到1),如使用以下归一化公式:
x\*i=xi-x?xmax-xminxi\*=xi-x?xmax-xmin
我们的图像就会变得更加“正圆”一些:
我们可以很清楚的看到 ,梯度会更加快速的找到最优点。
其实这篇文章写之前,我还纠结了很久“标准化(Standardization)”这个概念,最后请教了很多人,发现大家最常用的还是归一化和正则化两个概念。不同的场合大家的称谓也不同,总结起来还是按照英文来说比较没有歧义:Normalization和Regularization两个概念。
归一化(Normalization)是把不同量纲的变量都让它取值到0,1范围之间,标准化(standardization)是把一个分布转化为概率分布,应该是这么理解吧
问个比较弱智的问题:归一化时,是分别对每个变量内部归一化,还是把所有的变量都放在一起看,然后集体归一化?
归一化,是对每个变量进行归一化的。参看公式:
x*i=xi-x?xmax-xmin
本文已收录于以下专栏:
相关文章推荐
0.参考文献关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
数据标准化/归一化normalization
归一化与标准化1.标准化用的最多的是 z-s...
归一化(Normalization)
1.把数据变为(0,1)之间的小数。主要是为了方便数据处理,因为将数据映射到0~1范围之内,可以使处理过程更加便捷、快速。
2.把有量纲表达式变换为无量纲表达式,...
问题引入:机器学习中使用「正则化来防止过拟合」到底是一个什么原理?为什么正则化项就可以防止过拟合?这相当于是给模型参数w 添加了一个协方差为1/alpha 的零均值高斯分布先验。 对于alpha =0...
转自:/ml//normalization-regularization.html
正则化(Regularization)、归一化(也有...
原文地址 /ml//normalization-regularization.html
正则化(Regularization)、归一化(也有...
转载自:/ml//normalization-regularization.html正则化(Regularization)、归一化(也有称为正规化...
原文地址 /ml//normalization-regularization.html
正则化、归一化含义解析
一、标准化(Z-Score),或者去除均值和方差缩放
公式为:(X-mean)/std  计算时对每个属性/每列分别进行。
将数据按期属性(按列进行)减去其均值,并处以其方差。得到的结果是...
一、标准化(Z-Score),或者去除均值和方差缩放公式为:(X-mean)/std  计算时对每个属性/每列分别进行。将数据按期属性(按列进行)减去其均值,并处以其方差。得到的结果是,对于每个属性/...
归一化(Normalization)
        1.把数据变为(0,1)之间的小数。主要是为了方便数据处理,因为将数据映射到0~1范围之内,可以使处理过程更加便捷、快速。
     ...
他的最新文章
讲师:汪剑
讲师:刘道宽
您举报文章:
举报原因:
原文地址:
原因补充:
(最多只允许输入30个字)

我要回帖

更多关于 如何提高理解能力 的文章

 

随机推荐