最小二乘法的过原点回归残差和不等于0为什么等于0呢？

来源：蜘蛛抓取(WebSpider) 时间：2023-07-04 13:35 标签： 过原点回归残差和不等于0
线性回归使用最小二乘法只有包含了截距残差项的总和一定为零，如果不包含截距那就不一定了。如果包含了截距：最小二乘求解回归系数的时候残差平方和函数对每个回归系数求偏导数并让其等于0，其中残差平方和函数对截距系数求偏导数的等式为 -2\sum_{i=1}^{n}[{y_{i}}-(b_{0}+\sum_{j=1}^{k}{b_{k}x_{k}})]=0 ，看括号里面，它表达的就是残差项的总和为零。如果不包含截距：则没有上面的等式，所以不包含截距残差项的总和就不一定为零。不管有没有截距对每个预测变量都有 \sum_{i=1}^{n}{x_{im}e_{i}}=0, m=1,2,...,k ,n 是观测数据个数，k是预测变量个数，这个结论（残差以自变量x的加权平均值为0）是从 残差平方和函数对预测变量系数求偏导数结果=0 这个等式得来的。
线性回归使用最小二乘法只有包含了截距残差项的总和一定为零，如果不包含截距那就不一定了。如果包含了截距：最小二乘求解回归系数的时候残差平方和函数对每个回归系数求偏导数并让其等于0，其中残差平方和函数对截距系数求偏导数的等式为 -2\sum_{i=1}^{n}[{y_{i}}-(b_{0}+\sum_{j=1}^{k}{b_{k}x_{k}})]=0 ，看括号里面，它表达的就是残差项的总和为零。如果不包含截距：则没有上面的等式，所以不包含截距残差项的总和就不一定为零。不管有没有截距对每个预测变量都有 \sum_{i=1}^{n}{x_{im}e_{i}}=0, m=1,2,...,k ,n 是观测数据个数，k是预测变量个数，这个结论（残差以自变量x的加权平均值为0）是从 残差平方和函数对预测变量系数求偏导数结果=0 这个等式得来的。
残差和为0不是一个假设，而是OLS定义下的一阶条件（first order condition)。当然还有一个条件是自变量中含有截距项！证明如下：OLS的目标函数为最小化残差平方和（SSR,sum of squared residuals），即min \sum_{i=1}^{n}{\hat{u} _{i}^{2} } =\sum_{i=1}^{n}(y_{i}-\hat{\beta }_{0}- \hat{\beta }_{1}\cdot x_{1}-...-\hat{\beta }_{k}\cdot x_{k})^{2}为此，我们对该式分别关于\hat\beta _{0} 、\hat\beta _{1} 、....\hat\beta _{k} 求导，并逐个使导数为0。当然要得到题主想要的结论，我们对beta1到betak都不关心，只考虑对beta0求导的结果。为了方便，我们令y_{i}-\hat{\beta }_{0}- \hat{\beta }_{1}\cdot x_{1}-...-\hat{\beta }_{k}\cdot x_{k}=\hat{u} _{i}则根据链式法则，我们有\frac{d\sum_{i}^{n}{\hat{u} _{i}^{2}}}{d\hat\beta _{0} } =\sum_{i}^{n}(\frac{d\hat{u} _{i}^{2}}{d\hat{u} _{i}} \cdot \frac{d\hat{u} _{i}}{d\hat\beta _{0}} )
（式子1）又有\frac{d\hat{u} _{i}^{2}}{d\hat{u} _{i}} =2\hat{u} _{i}，\frac{d\hat{u} _{i}}{d\hat\beta _{0}} =\frac{d(y_{i}-\hat{\beta }_{0}- \hat{\beta }_{1}\cdot x_{1}-...-\hat{\beta }_{k}\cdot x_{k})}{d\hat\beta _{0}} =-1则式子（1）可以改写，并使之等于0，\sum_{i}^{n}(\frac{d\hat{u} _{i}^{2}}{d\hat{u} _{i}} \cdot \frac{d\hat{u} _{i}}{d\hat\beta _{0}} )=-2\sum_{i}^{n}\hat{u} _{i}=0则，我们得到\sum_{i}^{n}\hat{u} _{i}=0即OLS线性回归中，通过定义，必然满足残差和为0的条件，而并不是通过什么“假设”得来的。我们首先要知道残差是什么，所谓残差就是模型的预测值与真实值的差距。具体可见下图～在模型预测过程中，我们寄希望于我们的估计值与实际值足够的接近。这就是最小二乘法的原理。而换算到图上，就是到回归线距离的平方和足够小。这个平方和足够小的最优结果就是残差中没有能够解释因变量的信息了。而平方和最小的条件就是残差和为0，这个其实没有太多可说的，高赞回答也已经详细证明了，平方和最小的式子求导以后残差就为0。图片来源于网络而关于残差，这里我要多说几句。残差的性质极其重要。它能够检测/衡量模型是否完善合理，一个好的模型的残差应该具有随机性和不可预测性的特点。否则这个模型就是无效的。这就要求残差图满足就代表每个残差不相关(独立性)，分布满足正态性。分布的正态性往往等同于随机。正态性检验可以用Q-Q图或者残差分布直方图残差分布Q-Q图

我要回帖

更多关于 过原点回归残差和不等于0 的文章

 

随机推荐