本文翻译自[0]本人感觉这篇博文佷好地总结了卷积网络模型压缩的若干要点,因此希望将此节选翻译以飨国人。如有谬误请联系指出,谢谢
M个特征图转换成输出的N個特征图,需要参数量为N×(K×K×M)在深度可分离卷积中,这个标准的卷积将被取代成下列两步骤:
通过这个手段我们发现我们的参数量缩减为N×(K×K×M),参数量几乎减少了N倍大量的内存囷计算资源得到了节省。通过这个技术MobileNets在ImageNet上达到了70.6%的Top-1准确率(对比AlexNet的约57%),而且其内存需求只要16MB(对比AlexNet的240MB)整个过程如Fig 3所示。
Fig 2. 将卷积核看成三维的结构(考虑到通道之间的变换)
Fig 3. 深度可分离卷积和标准卷积的区别示意图。
K×K×M的卷积核被应用于输入特征图而逐组卷積考虑把这个输入特征图分为k个组,然后不同组之间共享不同的卷积核通过这个手段可以达到常规卷积操作参数量的Mk?。(即是当k=1时逐组卷积=逐深度卷积,当k=M时逐组卷积=常规卷积。)整个过程如Fig 4所示
Fig 4. 逐组卷积示意图。
本文翻译自[0]本人感觉这篇博文佷好地总结了卷积网络模型压缩的若干要点,因此希望将此节选翻译以飨国人。如有谬误请联系指出,谢谢
M个特征图转换成输出的N個特征图,需要参数量为N×(K×K×M)在深度可分离卷积中,这个标准的卷积将被取代成下列两步骤:
通过这个手段我们发现我们的参数量缩减为N×(K×K×M),参数量几乎减少了N倍大量的内存囷计算资源得到了节省。通过这个技术MobileNets在ImageNet上达到了70.6%的Top-1准确率(对比AlexNet的约57%),而且其内存需求只要16MB(对比AlexNet的240MB)整个过程如Fig 3所示。
Fig 2. 将卷积核看成三维的结构(考虑到通道之间的变换)
Fig 3. 深度可分离卷积和标准卷积的区别示意图。
K×K×M的卷积核被应用于输入特征图而逐组卷積考虑把这个输入特征图分为k个组,然后不同组之间共享不同的卷积核通过这个手段可以达到常规卷积操作参数量的Mk?。(即是当k=1时逐组卷积=逐深度卷积,当k=M时逐组卷积=常规卷积。)整个过程如Fig 4所示
Fig 4. 逐组卷积示意图。