求线性回归，最小二乘法求线性方程的学习资料。谢谢了。

来源：蜘蛛抓取(WebSpider) 时间：2015-11-26 18:40 标签： 最小二乘法和线性回归
最小二乘法求线性回归方程四组数 （1,2）（2,4）（3,5）（4,7）_百度作业帮
最小二乘法求线性回归方程四组数 （1,2）（2,4）（3,5）（4,7）
最小二乘法求线性回归方程四组数 （1,2）（2,4）（3,5）（4,7）
x平均=(1+2+3+4)/4=2.5y平均=(2+4+5+7)/4=4.5b=(53-4*2.5*4.5)/(30-4*2.5²)=8/5=1.6a=4.5-1.6*2.5=0.5∴回归直线为y=1.6x+0.5当前位置：
＞＞＞以下有关线性回归分析的说法不正确的是()A．通过最小二乘法得到的..
以下有关线性回归分析的说法不正确的是(&&&&&)A．通过最小二乘法得到的线性回归直线经过样本的中心B．用最小二乘法求回归直线方程，是寻求使最小的a,b的值C．在回归分析中，变量间的关系若是非确定性关系，但因变量也能由自变量唯一确定D．如果回归系数是负的，y的值随x的增大而减小
题型：单选题难度：偏易来源：不详
C试题分析：根据题意，那么回归分析中，通过最小二乘法得到的线性回归直线经过样本的中心成立对于用最小二乘法求回归直线方程，是寻求使最小的a,b的值满足成立，对于如果回归系数是负的，y的值随x的增大而减小，类似于斜率为负数，成立排除法选C.具有相关关系的两个变量不一定是因果关系，因此选C.点评：本题考查两个变量的线性相关，考查线性相关关系的意义，考查散点图和线性回归方程的作用，本题是一个概念辨析问题．
马上分享给同学
据魔方格专家权威分析，试题“以下有关线性回归分析的说法不正确的是()A．通过最小二乘法得到的..”主要考查你对&&线性回归分析&&等考点的理解。关于这些考点的“档案”如下：
现在没空？点击收藏，以后再看。
因为篇幅有限，只列出部分考点，详细请访问。
线性回归分析
回归直线：
如果散点图中点的分布从整体上看大致在一条直线附近，我们就称这两个变量之间具有线性相关关系，这条直线叫做回归直线；
最小二乘法：
使得样本数据的点到回归直线的距离的平方和最小的方法叫做最小二乘法。
回归直线方程：
，其中。回归分析是处理变量相关关系的一种常用数学方法，其步骤为：
（1）确定特定量之间是否有相关关系，如果有，那么就找出他们之间贴近的数学表达式；（2）根据一组观察值，预测变量的取值及判断变量取值的变化趋势；（3）求出回归直线方程。
发现相似题
与“以下有关线性回归分析的说法不正确的是()A．通过最小二乘法得到的..”考查相似的试题有：
403808626602878605334352769668844733这是个机器人猖狂的时代，请输一下验证码，证明咱是正常人~& &5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基础，我咋不知道呢！ 看来以后还是要对自己有清晰认识。
& &回来赶紧上百度，搜了下什么是最小二乘法。
&&&先看下百度百科的介绍：最小二乘法（又称最小平方法）是一种优化技术。它通过最小化的平方和寻找数据的最佳匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间的平方和为最小。最小二乘法还可用于。其他一些优化问题也可通过最小化或最大化熵用最小二乘法来表达。
& &通过这段描述可以看出来，最小二乘法也是一种优化方法，求得目标函数的最优值。并且也可以用于曲线拟合，来解决回归问题。难怪《统计学习方法》中提到，回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以著名的最小二乘法来解决。看来最小二乘法果然是机器学习领域做有名和有效的算法之一。
二. 最小二乘法
& &我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？&监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...
& &对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， &，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
& & & & （1）用&残差和最小&确定直线位置是一个途径。但很快发现计算&残差和&存在相互抵消的问题。& & & & （2）用&残差绝对值和最小&确定直线位置也是一个途径。但绝对值的计算比较麻烦。& & & & （3）最小二乘法的原则是以&残差平方和最小&确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。
　&最常用的是普通最小二乘法（ Ordinary &Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。
&　样本回归模型：
& & & & & & & & &&& & & & & & & & & &其中ei为样本（Xi,&Yi）的误差
& &平方损失函数：
& & & & & & & & & & &&
& &则通过Q最小确定这条直线，即确定，以为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：
& & & & & & & & & && &&
& & 根据数学知识我们知道，函数的极值点为偏导为0的点。
& & 解得：
& & & & & & & & & &
这就是最小二乘法的解法，就是求得平方损失函数的极值点。
三. C++实现代码
2 最小二乘法C++实现
3 参数1为输入文件
4 输入 ： x
5 输出： 预测的y
7 #include&iostream&
8 #include&fstream&
9 #include&vector&
10 using namespace
12 class LeastSquare{
14 public:
LeastSquare(const vector&double&& x, const vector&double&& y)
double t1=0, t2=0, t3=0, t4=0;
for(int i=0; i&x.size(); ++i)
t1 += x[i]*x[i];
t2 += x[i];
t3 += x[i]*y[i];
t4 += y[i];
a = (t3*x.size() - t2*t4) / (t1*x.size() - t2*t2);
b = (t1*t4 - t2*t3) / (t1*x.size() - t2*t2);
double getY(const double x) const
return a*x +
void print() const
cout&&"y = "&&a&&"x + "&&b&&"\n";
41 int main(int argc, char *argv[])
if(argc != 2)
cout&&"Usage: DataFile.txt"&&
return -1;
vector&double&
ifstream in(argv[1]);
for(double in&&d; )
x.push_back(d);
int sz = x.size();
vector&double& y(x.begin()+sz/2, x.end());
x.resize(sz/2);
LeastSquare ls(x, y);
ls.print();
cout&&"Input x:\n";
double x0;
while(cin&&x0)
cout&&"y = "&&ls.getY(x0)&&
cout&&"Input x:\n";
四. 最小二乘法与梯度下降法
& &最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值，那它们有什么区别呢。
　　1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。　　2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：
& & & & & & & & & & & & & & &
& &其中为第i组数据的independent variable，为第i组数据的dependent variable，为系数向量。
& &不同　　1.实现方法和结果不同：最小二乘法是直接对求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个，然后向下降最快的方向调整，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。
&参考：&http://blog.csdn.net/qll/article/details/8248249
阅读(...) 评论()最小二乘法和线性回归_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
最小二乘法和线性回归
上传于||文档简介
&&最​小​二​乘​法​和​线​性​回​归
大小：696.50KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢

我要回帖

更多关于 最小二乘法和线性回归 的文章

 

随机推荐