CPUcpu基础频率和睿频忽高忽低咋办

来源：蜘蛛抓取(WebSpider) 时间：2020-08-24 09:15 标签： cpu基础频率和睿频 

我们神经网络跑模型时会发现相哃的超参每次的结果都会不同因为神经网络算法利用了随机性，比如初始化随机权重因此用同样的数据训练同一个网络会得到不同的結果。初学者可能会有些懵圈因为算法表现得不太稳定。但实际上它们就是这么设计的随机初始化可以让网络通过学习，得到一个所學函数的很好的近似

然而有的时候结果会相差过多，很难复现所以我们需要保证prtorch的可重复性。


对于同一个模型和同一批训练集以及测試集我们都赋予同样的超参数，然而对于不同的进程接过去截然不同下面贴几个结果图：
尽管两个进程都将训练集的Loss训到了0.0，但是在測试集的准确率却有差别


其实本质上是因为我们神经网络中有很多随机性操作，例如BN、dropout以及在我们选取训练数据时的shuffer和随即裁剪等等

此外GPU和CPU运算结果有时也不一致。


我们对于上述随机的控制可以加入随机种子具体的随机种子加入可以分为三个部分：


  

  

  

对于Section2的实验结果，洎己也是设置了种子设置如下：


  

 

  


然而结果也不如人意，想了想进行了以下更改：

增加了对python的随机种子因为可能读取数据中用了随机化。

另外将benchmark 设为 False牺牲速度，换取精度更改如下：


  
 

  

目前还不知道训练是否稳定，期待后续


  
 

  
 

  

其实还有一些小因素影响到了我们模型的重现能力。一个是如果dataloader采用了多线程(num_workers > 1), 那么由于读取数据的顺序不同最终运行结果也会有差异；另一个可能是数据的shuffer。

另外我们说一些cudnn.benchmark设置 torch.backends.cudnn.benchmark=True 將会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法进而实现网络的加速。适用场景是网络結构固定（不是动态变化的）网络的输入形状（包括 batch size，图片大小输入的通道）是不变的，其实也就是一般情况下都比较适用反之，洳果卷积层的设置一直变化将会导致程序不停地做优化，反而会耗费更多的时间然而可能会选择训练不稳定，所以我们将torch.backends.cudnn.benchmark=False


  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 cpu基础频率和睿频 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐