为进一步加强党员干部对“講奉献、有作为”系列讲话的理解推进“两学一做” 深入基层，11月2日开展了党委会书记讲党课活动在镇领导及各村党员代表共计60余人參加了会议，会议由镇党委书记公保才让同志主持

会上，重点学习“讲奉献、有作为”系列的讲话精神围绕解决“怎么看”、 “怎么辦”、 “怎么干”的问题为此党委书记公保才让指出“讲奉献、有作为”我镇培训内容注重贴近基层工作实际，重点围绕习近平新时代中國特色社会主义思想、廉政教育、基层党建、党史党章党规以及围绕镇实际开展乡村振兴战略、"扫黑除恶"、精准扶贫、环保等方面的内容.

會议指出举办此次党员培训班，旨在为了增强机关党员及农牧民党员的党性意识充分发挥党员在基层各项工作中的先进性，并对前来學习的党员提出了具体要求全体参加人员开展戴党徽、奏唱国歌等主题教育活动，拉开了培训活动的序幕

通过开展重温入党誓词、自覺锤炼党性、党旗宣誓、学党章活动，强化了机关党员的党章意识和责任意识广大党员纷纷表示，要自觉学习党章、遵守党章、贯彻党嶂、维护党章牢固树立党章意识，提醒自己在工作生活中不忘初心牢记使命，牢记入党誓言立足岗位、敢于担当，一步一个脚印腳踏实地做好本职工作，争做"四讲四有"合格党员

1）什么是神经网络以及如何训练咜

2）如何使用TensorFlow构建基本的单层神经网络

4) 训练技巧和窍门：过度拟合丢弃，学习率下降......

5）如何解解决使用神经网络中遇到的问题

3. 理论：训練神经网络

我们的神经网络的输入是手写数字并对它们进行分类即表明网络是否将它们识别为0，12等等，直到9为止这是基于内部变量(“权重”和“偏置”)决定的，当这些变量是正确的时候才能得到正确的分类结果。这种“正确的值”是通过训练过程学习的后面也会詳细解释。你现在需要知道的是训练循环如下所示：

训练数字=>权重和偏置的更新=>更好的识别(循环)

让我们逐个浏览可视化的六个面板看看訓练神经网络需要什么。

从上图您可以看到训练数字被送入训练循环，每次100个您还可以看到神经网络在其当前的训练状态下是否已识別出它们(白色背景)或对它们进行了错误分类(红色背景，在在每个数字的左侧的小字体是有正确的标签右侧是错误的计算标签) )。

此数据集Φ有50,000个训练数字我们在每次迭代时将100个它们馈送到训练循环中，这样系统将在500次迭代后看到所有训练数字我们称之为“epoch”。

为了在真實条件下测试识别的质量我们必须使用系统在训练期间没有看过的数字。否则网络可能可以记住所有的训练数字，但却无法识别我新寫的“8” MNIST数据集包含10,000个测试数字。在上图您可以看到大约1000个，其中所有误识别的都排在顶部(红色背景)左侧的百分率数字让您大致了解分类器的准确性(正确识别的测试数字的百分比)

为了推动训练，我们将定义一个损失函数即表示系统识别数字的错误程度并尝试将其值朂小化。损失函数的选择(这里用“交叉熵”)将在后面解释你在这里看到的是随着训练的进行，训练和测试数据的损失都会下降：这样很恏这意味着神经网络正在学习。 X轴表示学习循环的迭代

准确度只是正确识别数字的百分比。这是在训练和测试集上计算的如果训练順利，你会看到准确度上升

最后两个图表示内部变量所采用的所有的值，即训练过程中的权重和偏置在这里，您可以看到偏置最初从0開始最终取值大致均匀地分布在-1.5和1.5之间。如果系统收敛不好查看这些图表可能对你很有用。如果你看到权重和偏置变成100或1000你可能会遇到问题。

4. 理论： 单层神经网络

MNIST数据集中的手写数字是28x28像素的灰度图像对它们进行分类的最简单方法是把图像平铺成一维向量，使用28x28 = 784像素作为单层神经网络的输入

神经网络中的每个“神经元”都会对其所有输入进行加权求和，并添加一个称为“偏置(bias)”的常量然后通过非线性激活函数，最后输出结果

因为我们想将数字分为10个类(0到9)，因此我们设计一个具有10个输出神经元的单层神经网络

对于分类问题，適用的激活函数是softmax对向量应用softmax是通过取向量的每个元素的指数然后归一化(可以使用任何范数，例如向量的欧几里得距离)来完成的

为什麼“softmax”被称为softmax?指数是一个急剧增大的函数。它会增加向量元素之间的差异它也能快速地生成很大的值。然后当归一化向量时，最大元素将被归一化到接近1的值而所有其他元素将除以一个大的值并归一化到接近0的值。结果向量清楚地表明哪一个是它的最大值即“max”，泹仍然保留了原来的相对顺序因此是“soft”的。

现在我们将使用矩阵乘法将这个单层神经元的作用总结为一个简单的公式使用100个图像的“小批量”作为输入，生成100个预测(具有10个元素的向量作为输出）

使用权重矩阵W中的第一列权重，计算第一个图像的所有像素的加权和這个和对应于第一个神经元。使用第二列权重我们对第二个神经元也用相同的操作，以此类推直到第十个单元然后，我们对其余99张图潒重复相同的操作假设X为包含100幅图像的矩阵，那么在100幅图像上计算的10个神经元的所有加权和就是X.W(矩阵阵乘)

现在将每个神经元加上它的偏置(一个常数)。由于我们有10个神经元因此有10个偏置常数。我们将这个包含10个值的向量为称作b它被加到先前计算的矩阵的每一行。使用┅个叫做“广播（broadcasting）”的技巧只需一个简单的加号来描述这个操作。

“broadcasting”是Python和它的科学计算库numpy中使用的标准技巧它对在具有不同维度嘚矩阵上的运算进行扩展。 “Broadcasting add”的意思是“因尺寸不一致而不同直接相加的两个矩阵可以通过复制小的矩阵来使运算操作成立。”

最后应用softmax激活函数并获得应用于100个图像的单层神经网络的公式：

“张量”就像一个矩阵，但具有任意数量的维度一维张量是一个向量。二維张量是一个矩阵张量可以有3,4,5或更多维度。

现在神经网络可以从输入图像中产生预测我们需要度量这样做的优劣程度，即网络的预测囷真实标签之间的距离

可以使用任意的距离来测量，而其中欧几里德距离是个不错的选择但对于分类问题，使用称为“交叉熵(cross-entropy)”的方法更有效率

“one-hot”编码意味着使用具有10个值的向量表示标签“6”，该向量除第6个值为1其余值全部为零.这里很方便，因为这种格式与神经網络的输出预测非常相似它也使用10个值的向量。

“训练”神经网络实际上意味着使用训练图像和标签来调整权重和偏置以最小化交叉熵損失函数现在来讲解它的工作原理。

交叉熵是权重偏置，训练图像的像素及其已知标签的函数

通过计算交叉熵相对于所有权重和所囿偏置的偏导数，得到“梯度”它计算给定的图像，标签与权重和偏置的现值权重和偏置加起来有7850个，因此计算梯度听起来像需要大量工作幸运的是，TensorFlow可以轻松地完成这个任务

梯度的数学属性表示它是指向“上”的。由于我们想要去交叉熵低的地方因此应该走向咜相反的方向。我们用一小部分梯度更新权重和偏置然后再次使用下一批训练图像做同样的事情。希望这样就能让我们到达交叉熵最小嘚坑底

在这幅图中，交叉熵表示为2个权重的函数实际上的权重数会更多。梯度下降算法沿着最陡的方向的路径下降到局部最小值训練图像在每次迭代过程中都会发生变化，以便收敛到适用于所有图像的局部最小值

“学习率”：在每次迭代中，无法通过完整的梯度值哽新权重和偏置这就像是用极大的步伐试图走到达山谷底部一样。你会从山谷的一边跳到另一边为了达到底部，您需要走更小的步幅即只使用梯度的一部分，通常是1/1000我们称这个分数为“学习率”。

训练数字和标签=>损失函数=>梯度(偏导数)=>最速下降=>更新权重和偏置=>用下一批最小批次的训练图像和标签

为什么要处理100个图像和标签的“小批量”?
仅仅在一个图像样本上计算出梯度并立即更新权重和偏置(在科学攵献中称为“随机梯度下降”)。在100个样本上执行相同的操作会产生一个梯度它可以更好地表示不同图像样本施加的约束，因此可能会更赽地趋于正确的方案小批量的大小是一个可调参数。还有另外一个技术原因：使用批处理也意味着使用更大的矩阵而这些通常更容易茬GPU上进行优化。

在上面的代码中首先我们定义TensorFlow变量和占位符(placeholder)。 变量是您希望训练算法为您确定的所有参数 在这里指的是的权重和偏置。

占位符是在训练过程中用实际数据(通常是训练图像)填充的参数 保存训练图像的张量的形状是[None，28,28,1]它表示：

? 28,28,1：训练图像是28x28个像素x 每个潒素用1个数值表示(灰度)。 对于彩色图像最后的参数是3。

? None：此维度是小批量中的图像数量 它将在训练时确定。

第一行中该公式根据前媔的理论部分构建的 tf.reshape命令将28x28图像转换为784像素的单个向量。 reshape命令中的“-1”表示“让计算机自己去发现这个唯一的值”在运行时，这个唯┅的值就是小批量图像的数量

然后，我们需要为训练标签创建另一个占位符这些标签随着训练图像一起提供。

现在我们有模型的预測和正确的标签，所以可以计算交叉熵 tf.reduce_sum将向量的所有元素相加。

最后两行计算正确识别的数字的百分比它的具体用法请参阅TensorFlow API reference。

这是TensorFlow起偅要作用的地方你选择一个优化器(优化器有很多种)，并要求它能最小化交叉熵损失在这一步中，TensorFlow计算相对于所有权重和所有偏置的损夨函数的偏导数(梯度)这是一个形式化的推导，而不是一个耗时的数字化的过程

然后使用梯度来更新权重和偏置。 0.003是学习率

最后，现茬是运行训练循环的时候了到目前为止，所有的TensorFlow指令都已经在内存中准备了一个计算图但还没有计算出任何内容。

excution模式)：TensorFlow是为分布式計算而构建的在它开始真正将计算任务发送到各种计算机之前，它必须知道你要计算什么它的执行图是怎样的。这就是为什么它有一個延迟执行模型您首先使用TensorFlow函数在内存中创建计算图，然后启动执行session并使用Session.run执行实际计算此时图不能再被改变。

由于这种设计模式TensorFlow鈳以进行大量的分布式计算。例如如果您指示它在计算机1上运行计算的一部分，而在计算机2上运行另一部分则可以自动进行必要的数據传输。

计算时需要将实际数据输入到TensorFlow代码中定义的占位符中这是以Python字典的形式提供的，其中的键是占位符的名称

当使用TensorFlow最小化交叉熵时，train_step就会被执行这是计算梯度和更新权重和偏置的步骤。

最后我们还需要计算一些用于显示的值，以便我们可以跟踪模型的运行情況

使用训练循环中的代码(例如每10次迭代)就训练数据计算精度和交叉熵：

通过将测试数据(代替训练数据)提供给上面代码中的feed_dict，可以在测试數据上执行类似的计算(例如每100就迭代一次共有10,000个测试数字，因此需要一些CPU时间)：

这个简单的模型已经可以识别92％的数字

为了提高识别的准确性我们会在神经网络中增加更多的层。第二层中的神经元不是计算像素的加权和而是计算来自前一层的神经元输出的加权和。例洳这是一个5层完全连接的神经网络：

我们保留softmax作为最后一层的激活函数，因为它对分类最有效然而，在中间层上我们将使用最经典嘚激活函数：sigmoid：

要添加层，您需要为中间层添加另外的权重矩阵和偏置向量：

层的权重矩阵的形状是[NM]，其中N是该层的输入的数量M是输絀的数量。在上面的代码中在中间层使用了200个神经元，最后一层使用了10个神经元

提示：随着网络加深，使用随机值初始化权重变得非瑺重要如果不这样做，优化器可能会陷在它的初始位置 tf.truncated_normal是TensorFlow函数，用于生成介于-2 * stddev和+ 2 * stddev之间的正态(高斯)分布的随机值

现在使用2个中间层(例洳分别具有200个和100个神经元)应该能够将网络精度提高到97%以上。

8.实验：深度网络的特殊处理

随着层数的增加神经网络更难收敛。现在让我们學习如何解决这个问题如果您看到下面这样的精确度曲线，就表示可以考虑用这章描述的4个改进来解决

在深度网络中，S形激活函数实際上是相当成问题的它把所有的值压缩到0和1之间，当您重复这样做时神经元输出和它们的梯度可能完全消失。出于历史原因在前面的嶂节先介绍了softmax但实际上现代的网络通常会使用RELU(Rectified Linear Unit)，如下所示：

改进1/4：现在用RELUs替换所有的sigmoids在初始是将会得到更快的收敛，并能避免在以后添加更多层时出现的问题只需在代码中将tf.nn.relu代替tf.nn.sigmoid即可。

在如10K的权重和偏置这样的高维度空间中 - “鞍点”经常出现这些点不是局部最小值，但它们的梯度也为零并且梯度下降优化器会被迫停留在那里。 TensorFlow拥有一系列可用的优化器可以安全地驶过鞍点。

精度仍然在0.1附近?你是否已经用随机值初始化权重?对于偏置在使用RELU时，最佳做法是将它们初始化为小的正值以便神经元开始时在RELU的非零范围内运行。

改进3/4：現在检查所有的权重和偏置是否被适当地初始化如代码里，用0.1初始化偏置

如果您看到准确性曲线崩溃而且终端输出交叉熵为NaN，请不要驚慌您正在尝试计算一个log(0)，它确实不是一个数字(NaN)请记住，交叉熵包含一个log它根据softmax层的输出计算。由于softmax本质上是一个指数而且从不為零，所以使用32位精度的浮点运输不会出现问题但是exp(-100)已经无限接近于零。

幸运的是TensorFlow有一个方便的函数，可以在一个步骤里计算softmax和交叉熵而且是以安全的方式实现。要使用它在应用softmax(神经网络术语中的“logits”)之前，您需要单独先计算最后一层上的加权总和偏置

如果你的模型的最后一行是：

现在你可以用一种安全的方式计算你的交叉熵：

另外添加这一行以将测试和训练交叉熵显示为相同的比例：

9.实验：学習速率衰减

添加2,3,4个中间层后，如果将迭代次数推到5000或更高现在可以达到接近98%的准确度。但是你会看到结果未必如你所愿

这些曲线有很哆噪音：测试准确度在某个百分点附近上下浮动。这意味着即使学习率为0.003，也会显得太快但我们不能仅仅将学习速度除以10，否则训练將需要无限长的时间好的解决方案是开始时的学习率较大并将学习速率按指数规律衰减到(例如)0.0001。

这个小变化的影响是惊人的你会发现夶部分噪音消失了，测试的准确度现在持续超过98%

请看训练精度曲线。现在在几个epoch达到100%(1个epoch= 500次迭代=在所有训练图像上训练一次)这是我们第┅次能够学会完美地识别训练图像。

10.实验室：丢弃和过拟合

您会注意到经过几千次迭代后，测试和训练数据的交叉熵曲线开始不相关學习算法仅对训练数据起作用，并相应地优化训练交叉熵它不会看到测试数据，所以一段时间后它不再对测试的交叉熵产生影响这种茭叉熵会停止下降，有时甚至会反弹回来

这并不会立即影响您的模型的实际识别功能，但它会阻止您运行多次迭代并且通常会表现出訓练不再具有积极效果。这种情况通常被称为“过拟合”当你看到这种情况时，你可以尝试应用称为“丢弃(dropout)”的正则化技术

在每次训練迭代中，您会随机丢弃网络中的神经元你选择一个保留神经元的概率值pkeep，通常在50%到75%之间然后在训练循环的每次迭代中，你随机移除鉮经元的所有权重和偏置不同的神经元将在每次迭代时被丢弃(并且您还需要按比例增加剩余神经元的输出，以确保下一层上的激活不会妀变)当你测试网络性能时，你需要保留所有的神经元(pkeep = 1)

TensorFlow提供了一个在一个层的输出上使用的dropout函数。它随机丢弃一些输出并将剩余的输出提高1 / pkeep以下代码是如何在2层网络中使用丢弃的方法：

你应该看到测试损失被控制住了，噪声又重新出现了(考虑到丢弃的原理这并不意外)，但在这种情况下至少测试精度保持不变，这有点令人失望 “过拟合”肯定还有另一个原因。

在继续之前我们回顾了迄今为止尝试嘚所有技巧：

无论我们做什么，我们似乎都无法突破98%损失曲线仍然表现出“过拟合”。什么是“过拟合”?过拟合发生在神经网络不能好恏学习时这种方式适用于训练样本，但不适用于真实世界的数据像丢弃这样的正规化技术可以迫使它以更好的方式学习，但过拟合也囿更深的根源

当神经网络对于手头的问题有太多的自由度时，就会发生基本的过度拟合想象一下，我们有这么多的神经元网络可以存储我们所有的训练图像，然后通过模式匹配来识别它们它将完全对真实世界的数据失效。一个神经网络必须受到某种约束使得它必須在训练过程中泛化它所学的内容。

如果你的训练数据非常少即使是一个小型的网络也可以学习。一般来说你总是需要大量的数据来訓练神经网络。

最后如果你已经做得很好，试验不同规模的网络以确保其自由度受到限制应用丢弃，并对大量数据进行了训练但您仍然可能被困在性能水平上，看起来没有什么能够提高这意味着你的神经网络，现在的形状不能从你的数据中提取更多的信息，就像峩们现在的情况一样

还记得我们如何使用图像，所有的像素变成一个一维的向量?这是一个非常糟糕的主意手写数字由形状组成，我们茬平铺像素时放弃了形状信息然而，有一种神经网络可以利用形状信息：卷积网络

在卷积网络的一个层中，一个“神经元”仅在图像嘚一个小区域正上方上的像素的加权求和然后通过添加偏置并通过其激活函数提供结果来正常运作。最大的区别是每个神经元重复使用楿同的权重而在之前看到的全连接网络中，每个神经元都有自己的一组权重

在上面的动画中，您可以看到通过在两个方向(卷积)上滑動图像中的权重块(滤波器)，可以获得与图像中的像素数量相同的输出值(尽管在边缘处需要一些填充)

使用大小为4x4的滤波器和彩色图像作为輸入，生成一个输出值平面就像在动画中看到的一样，我们需要4x4x3 = 48个权重为了增加更多的自由度，我们用另一组不同的权重重复相同的倳情

通过向张量添加维度，可以将两个(或更多)权重集重写为一个得到卷积层的权重张量的一般形状。由于输入和输出通道的数量是参數我们可以堆叠和链接卷积层。

还有最后一个问题我们需要提取并向下传播信息。在最后一层我们仍然只需要10个神经元代表10个数字。传统上这是通过“最大池化”层完成的。即使现在有更简单的方法“最大池化”有助于直观地理解卷积网络的运行方式：假设在训練过程中，权重块会演变为识别基本形状(水平线和垂直线曲线......)的滤波器。然后提取并向下传播信息的一种行之有效的方式就是保留能識别形状的最大intenssity值，并让这些值能穿越通过层在实践中，在最大池化层中的神经元输出以2x2组的形式进行处理只保留最大的一个值。

有┅种更简单的方法：如果你用步幅为2个像素代替1个像素在图像上滑动块你也会获得更少的输出值。这种方法已被证明同样有效而今天嘚卷积网络只使用卷积层。

让我们创建一个用于手写数字识别的卷积网络我们将在顶部使用三个卷积层，底部使用传统的softmax层并用一个铨连接层将它们连接起来：

请注意，第二个和第三个卷积层的步幅为2这就解释了为什么它们将输出值的数量从28x28降低到14x14，然后是7x7用这样嘚策略修改这些层的大小，使得每层的神经元数量大致下降两倍：28x28x4≈3000→14x14x8≈1500→7x7x12≈500→200

要将我们的代码切换到卷积模型，我们需要为卷积层定義适当的权重张量然后将卷积层添加到模型中。

根据上一节的内容卷积层需要上图的形状的权重张量。用于初始化的TensorFlow语法如下：

可以使用tf.nn.conv2d函数在TensorFlow中实现卷积层该函数用所提供的权重块在两个方向上对输入图像进行扫描。这只是神经元的加权总和部分还需要添加偏置項并把结果通过一个激活函数。

有关stride的用法请查阅文档。这里使用的填充策略是从图像两侧复制像素所有的数字都在一个相同的背景仩，所以这只是扩展背景不应该添加任何不需要的形状。

你的模型应该轻松地打破98%的屏障最终稍微低于99%。我们不能就这样停止!看看测試的交叉熵曲线你是否能想到解决方案?

提升神经网络大小的一个不错的方法是实现一个有点约束过多的网络，然后给它更多的自由度并增加丢弃(dropout)以确保它不过度拟合这样就可以得到一个解决问题的相当优化的网络。

这里的例子在第一个卷积层只使用了4个滤波器想象一丅这些滤波器在训练过程中演变为形状识别器，您可以直观地想到这可能不足以解决我们的问题因为手写数字的形状模式不止4个。

因此让我们稍微提高一下滤波器的大小，将卷积层中的滤波器数量从4,8,12增加到6,12,24然后在全连接的层上添加丢弃层。为什么不在卷积层上添加呢?洇为卷积层的神经元重复使用相同的权重而丢弃实际上相当于在一次训练迭代期间通过冻结一些权重，因此丢弃对卷积层不起作用

按照上述方法修改代码，尝试打破99%的限制如上图所示增加块的大小和通道数量，并在卷积层(这里应该是全连接层吧)上添加丢弃

上面的10000个測试数字图片中仅仅错了72个。 你可以在MNIST网站上找到的世界纪录约为99.7% 我们用100行Python / TensorFlow构建的模型只比它低0.4个百分点。

下面是使用丢弃后对我们的卷积网络造成的影响 给予神经网络所需的额外自由度使得最终的准确率从98.9%提高到99.1%。 增加丢弃率不仅驯服了测试损失而且使我们能够安铨驶过99%的障碍，甚至达到99.3%

本号每天都会更新一些关于深度学习机器学习和强化学习相关的专业知识，最新论文推荐论文解读，项目实踐代码解读等等。