gistic Regression是广义线性模型的一种可以用線性函数表示分类的超平面：

$$

通过对训练样本的学习，得到超平面再使用阈值函数，将样本映射到不同的类别（0或1）

常用的阈值函数有Sigmoid函数，形式为：

可以看出函数的值域为(0,1)，在0附近的变化比较明显

${}^{}{\frac{{}^{}}{}}^{}\frac{{}^{}{}^{}}{{}^{}{}^{}}\frac{{}^{}{}^{}{}^{}}{{}^{}{}^{}}$

对于输入向量X，属于正例的概率为：

$0$

${}^{}{}^{}0$

为求似然函数的最大值可使用g似然函数，将连乘转换为连加操作将负的g似然函数（negative g likehood）NLL作为损失函数，此时需要计算NLL的极小值损失函数为：

${}_{}\underset{}{\overset{}{}}{}_{}{}^{}{{}^{}}^{}{}_{}{}^{}{{}^{}}^{}$

${}^{}{}^{}{0}_{}{}_{}{}_{}{}^{}$

• 求导可以穿透常量系数，如 ${}^{}{}^{}$
• 以e为底的对数为自然對数用ln表示，${}^{}$

 '''利用梯度下降法训练LR模型 

（1）feature为训练数据偏置项的特征值设为1，数据如下：

label为标签数据值为0或1，数据如下：

特征个数為3权重值初始化为1

（3）更新w权重值后，可以计算损失值损失函数为：

（4）训练结束后，得到最终权重值

gistic Regression是广义线性模型的一种可以用線性函数表示分类的超平面：

$$

通过对训练样本的学习，得到超平面再使用阈值函数，将样本映射到不同的类别（0或1）

常用的阈值函数有Sigmoid函数，形式为：

可以看出函数的值域为(0,1)，在0附近的变化比较明显

${}^{}{\frac{{}^{}}{}}^{}\frac{{}^{}{}^{}}{{}^{}{}^{}}\frac{{}^{}{}^{}{}^{}}{{}^{}{}^{}}$

对于输入向量X，属于正例的概率为：

$0$

${}^{}{}^{}0$

为求似然函数的最大值可使用g似然函数，将连乘转换为连加操作将负的g似然函数（negative g likehood）NLL作为损失函数，此时需要计算NLL的极小值损失函数为：

${}_{}\underset{}{\overset{}{}}{}_{}{}^{}{{}^{}}^{}{}_{}{}^{}{{}^{}}^{}$

${}^{}{}^{}{0}_{}{}_{}{}_{}{}^{}$

• 求导可以穿透常量系数，如 ${}^{}{}^{}$
• 以e为底的对数为自然對数用ln表示，${}^{}$

 '''利用梯度下降法训练LR模型 

（1）feature为训练数据偏置项的特征值设为1，数据如下：

label为标签数据值为0或1，数据如下：

特征个数為3权重值初始化为1

（3）更新w权重值后，可以计算损失值损失函数为：

（4）训练结束后，得到最终权重值