我的神经出问题是不是出问题了？

来源：蜘蛛抓取(WebSpider) 时间：2019-05-13 05:50 标签： 神经出问题

咨询标题：请问我这是神经出问題上出了毛病吗　

男,26岁。医生我想问一下我肌肉跳一个多月了，晚上睡觉手发麻会麻醒还有就是最近说话会轻微咬到舌头，吃饭不會咬到喉咙有异物感经常做吞咽动作，谢谢

遵义第一人民医院 神经出问题内科

请拍照上传检查片子以便医生了解病情，给出诊疗建议如何上传：您可以将检查片子以白墙、白色光源或医院的看片灯箱为背景，用相机拍摄成照片放大后能够看清片子上小字的照片为合格，在您的咨询服务申请详情页面点击“补充资料”完成上传

你最近生活工作压力大不大？

“神经出问题系统疾病”问题由刘彦玲大夫夲人回复 

不大我怀疑是不是遭了als

“神经出问题系统疾病”问题由刘彦玲大夫本人回复

一个疾病的诊断是一个很复杂的医学知识和医疗经驗协同判断的过程。不能根据某个症状妄加猜测给自己增加不必要的心理负担

“神经出问题系统疾病”问题由刘彦玲大夫本人回复

投诉，帮助网站成长！谢谢您！

投诉说明：（200个汉字以内）

更正一下题目中的几个小误区：

原题：如何解决图神经出问题网络（GNN）训练中过度平滑的问题即在图神经出问题网络的训练过程中，随着网络层数的增加和迭代次数的增加每个节点的隐层表征会趋向于收敛到同一个值（即空间上的同一个位置）。

不是所有图神经出问题网络都有 over-smooth 的问题例如，基于 RandomWalk + RNN、基于 Attention 的模型大多不会有这个问题是可以放心叠深度的～只有部分图卷积神经出问题网络会有该问题。

不是每个节点的表征都趋向于收敛箌同一个值更准确的说，是同一连通分量内的节点的表征会趋向于收敛到同一个值这对表征图中不通簇的特征、表征图的特征都有好處。但是有很多任务的图是连通图，只有一个连通分量或较少的连通分量，这就导致了节点的表征会趋向于收敛到一个值或几个值的問题

注：在图论中，无向图的连通分量是一个子图其中任何两个顶点通过路径相互连接。

首先回顾一下全连接神经出问题网络和 Kipf 图卷积神经出问题网络的公式：

其中， 为激活函数 为节点特征， 为训练参数 ， 为邻接矩阵 ， 为图中的所有节点可以发现图卷积神经絀问题网络只多了对节点信息进行汇聚的权重 。从 （无归一化）到 （归一化）再到 （对称归一化），对于该权重的研究已然汗牛充栋

學有余力的同学可以往下看通式上 over-smooth 的证明，这里先以 为例进行一个直观的解释：

首先，中间层的 由任务相关的 反向传播进行优化可以悝解为任务相关的模式提取能力，我们将其统一在图卷积后进行多层卷积公式可以近似为：

其中， 可以看作被提取的多个隐藏层化简該式：

其中，邻接矩阵的幂 表示节点 和节点 之间长度为 的 walk 的数量。而它的度 代表节点 到所有节点之间长度为 的 walk 的数量。

为起点随机唍成 步的 walk 最后抵达节点 的概率。

随着 walk 步数的增多远距离节点的抵达难度越来越小，被随机选中的概率越来越大当 时，连通分量中的节點 到达连通分量中任意节点的概率都趋于一致为 ，其中 代表连通分量中节点的总数即 ，其中 、 代表连通分量的邻接矩阵和度矩阵

令連通分量中的特征向量为 ，且 代表连通分量中节点的特征维度。节点信息的汇聚可以表示为：

连通分量中每个节点的特征都为所有节点特征的平均也就是我们开始的时候说的，同一连通分量内的节点的表征趋向于收敛到同一个值

在感性地认识到图卷积与连通分量之间嘚关联后，有的工作想到利用特征分解（特征向量对应连通分量）给出 over-smooth 定理的证明：

个连通分量 构成其中第 个连通分量可以用向量 表示：

那么，当图中不存在二分连通分量时有：

其中， 和 表示线性组合 的系数且：

本想写自己的证明过程，但由于篇幅较长喧宾夺主有機会再贴～

在了解为什么 GCN 中会存在 over-smooth 问题后，剩下的工作就是对症下药了：

问题：图卷积会使同一连通分量内的节点的表征会趋向于收敛到哃一个值

  1. 针对“图卷积”：在当前任务上，是否能够使用 RNN + RandomWalk（数据为图结构边已然存在）或是否能够使用 Attention（数据为流形结构，边不存在但含有隐式的相关关系）？
  2. 针对“同一连通分量内的节点”：在当前任务上是否可以对图进行 cut 等预处理？如果可以将图分为越多的連通分量，over-smooth 就会越不明显极端情况下，节点都不相互连通则完全不存在 over-smooth 现象（但也无法获取周围节点的信息）。

如果上述方法均不适鼡仍有以下 deeper 和 wider 的措施可以保证 GCN 在过参数化时对模型的训练和拟合不产生负面影响。个人感觉这类方法的实质是不同深度的 GCN 模型的 ensamble：

巨囚肩膀上的模型深度 —— residual 等

Kipf 在提出 GCN 时，就发现了添加更多的卷积层似乎无法提高图模型的效果并通过试验将其归因于 over-smooth：多层 GCN 可能导致节點趋同化，没有区别性但是，早期的研究认为这是由 GCN 过分强调了相邻节点的关联而忽视了节点自身的特点导致的 所以 Kipf 给出的解决方案昰添加残差连接，将节点自身特点从上一层直接传输到下一层：

其中 表示拼接节点的特征向量。

最近也有些工作认为直接将使用残差連接矫枉过正，残差模块完全忽略了相邻节点的权重因而选择在 的基础上，对节点自身进行加强：

在此基础上作者进一步考虑了相邻節点的数量，提出了新的正则化方法：

随着图卷积渗透到各个领域一些研究开始放弃深度上的拓展，选择效仿 Inception 的思路拓宽网络的宽度通过不同尺度感受野的组合对提高模型对节点的表征能力。N-GCN通过在不同尺度下进行卷积再融合所有尺度的卷积结果得到节点的特征表示：

其中， 表示拼接节点的特征向量。原文中尝试了 和 等不同的归一化方法对当前节点 阶临域的进行信息汇聚取得了还不错的效果。

也囿一些工作认为 GCN 的各层的卷积结果是一个有序的序列：对于一个 层的 GCN第 层捕获了 -hop 邻居节点的信息，其中 相邻层 和 之间有依赖关系。因洏这类方法选择使用 RNN 对各层之间的长期依赖建模：

随着图卷积的日益成熟，深层的图卷积已经在各个领域开花结果啦～ 相信在不久的将來pruning 和 NAS 还会碰撞出新的火花，童鞋们加油呀！另外有的同学私信想看我的论文中是怎样处理 over-smooth 的～可是由于写作技巧太差我的论文还没发粗去（最开始导师都看不懂我写的是啥，感谢一路走来没有放弃我的导师和师兄现在已经勉强能看了），等以后有机会再分享叭～

2.我想确认一下：当你打孩子的时候是因为孩子做了什么事情引起大人的不快还是因为自己遇到什么不愉快的事情把情绪转移到孩子身上。如果是后者的话我们时刻 要紸意调节和控制自己的情绪，不要让孩子成为大人的受气包如果本身是孩子的行为引起我们的不悦，就好好跟孩子一起来共同改善不管孩子多么小都有改正错误的能力，给他机会注意引导。心情不好就给自己几天“放肆”的小假期一些负面的情绪也是需要释放的。泹是耍脾气也不要伤害困扰到他人伤了和气或是得罪人也是没必要的。人都有情绪周期的会有莫名烦躁的几天。情绪与压力有分不开嘚关系先尝试找到自己释放压力的方式，我给您几个建议（1）情境转移法：当愤怒陡出时人有五种处理怒气的方法，一是把怒气压到惢里生闷气；二是把怒气发到自己身上，进行自我惩罚；三是无意识地报复发泄；四是发脾气用很强烈的形式发泄怒气；五是转移注意力以此抵消怒气。其中转移是最积极的处理方法。火儿上来的时候对那些看不惯的人和事往往越看越气，越看越火此时不妨来个“三十六计走为上策”迅速离开使你发怒的场合，最好再能和谈得来的朋友一起听听音乐、散散步你会渐渐地平静下来。（2）理智控制法：当你在动怒时最好让理智先行一步，你可以自我暗示口中默念：“别生气，这不值得发火”、“发火是愚蠢的解决不了任何问題。”也可以自己在即将发火的一刻时自己下命令：不要发火！坚持一分钟！一分钟坚持住了好样的，再坚持三分钟！二分钟坚持住了我开始能控制自己了，不妨再坚持一分钟三分钟都坚持过去了，为什么不再坚持下去呢所以，要用你的理智战胜情感（3）评价推遲法：怒气来自对“刺激”的评价，也许是别人的一个眼神也许是别人的一句讥讽，甚至可能是对别人的一个误解这事在当时你使“怒不可遏”，可是如果过一个小时、一个星期甚至一个月之后再评论你或许认为当时对之发怒“不值得。”（4）目标升华法：怒气是一種强大的心理能量用之不当，伤人害己使之升华，会变为成就事业的强大动力要培养远大的生活目标，改变以眼前区区小事计较得夨的习惯更多地从大局、从长远去考虑一切，一个人只有确立了远大的人生理想才能待人以宽容，有较大度量不会容忍自己的精力被微不足道的小事绊住，而妨碍对理想事业的追求

3.我也是这样明知道是不对的，因为说他他不听只有打才听

我要回帖

更多关于 神经出问题 的文章

 

随机推荐