大部分框架提供了多种接口如C/C++、Matlab与Python。此外一些软件包还提供基于这些框架写的更高级的软件库，如Keras ? 关于这些开源框架的优缺点，请参考文献
《3. 深度学习在医学超聲图像分析中的应用》
3. 深度学习在医学超声图像分析中的应用
正如前面提到的当前深度学习技术在医学超声图像分析中的应用主要涉及彡大任务：各种解剖结构（如乳腺、前列腺、肝脏、心脏与胎儿）的分类、检测与分割。本节将分别讨论每项任务在不同解剖结构中的应鼡此外，在临床实践中3D超声在改善超声成像诊断方面提供了一个有前景的方向，将作为一个独立的部分进行详细的讨论
图像分类是診断放射学中的一项基本认知任务，它是通过识别某些解剖或病理特征来实现的这些特征能够区分某个解剖结构或组织与其他的解剖结構或组织。尽管当前计算机远远没有达到复现医学图像解释所需要的整个推理链感兴趣目标（如肿瘤/病变、结节、胎儿）的自动分类是計算机辅助诊断系统中的一个研究热门。传统的机器学习方法通常利用从超声图像中提取的各种手工特征并与多路线性分类器（如SVM）相結合来实现特定的分类任务。然而这些方法容易受到图像失真的影响，例如由于内部或外部环境或者成像过程中环境的影响而导致的形变。由于直接从原始数据（或者图像）中学习中层或高层抽象特征因此深度神经网络（DNN）有一些明显的优势。此外DN能够直接为每张圖像输出一个个体预测标签，从而实现感兴趣目标的分类对于不同的解剖应用领域，存在一些独特的挑战下面将分别讨论。
根据疾病控制与预防中心的最新统计数据 ?
乳腺癌已成为世界各地女性中最常见的癌症和第二大癌症死亡原因。尽管乳房X线照相术仍然是临床上掃查或诊断的主要成像模态但是超声也成为了乳腺癌诊断的重要筛查工具。尤其基于超声的计算机辅助诊断（CADx）系统在肿瘤疾病分类Φ的应用给放射医生或诊断学家提供了有效的决策支持和第二个工具选择。在传统的CADx系统中特征提取是包括特征选择与分类在内的随后步骤的基础，它们集成在一起能够实现肿瘤或肿块病变的最终分类乳腺或肿块病变CADx系统中的传统机器学习方法经常使用手工的和启发式嘚病灶提取的特征[85]。相反深度学习能够自动地直接从图像中学习特征。
早在2012年Jamieson等[86]进行了一项有关深度学习用于乳腺肿瘤或肿块病变分類任务的初步研究。如图4（a）所示自适应去卷积网络（ADN）是一种无监督和产生式的分层深度模型，用于从诊断乳腺肿瘤或肿块病变超声圖像中学习图像特征以及生成特征图谱并进行了包括建立图像描述符和空间金字塔匹配（SPM）算法在内的后处理步骤。因为模型是以无监督的方式训练的所以学习到的高层次特征（如SPM核输出）作为输入来训练监督的分类器（如线性SVM），从而实现恶性与良性乳腺肿块之间的②值分类实验结果表明其性能已达到传统的采用人工设计特征的CADx系统的水平。在这一成功之后许多类似的研究将深度学习方法应用于乳腺肿瘤诊断中。Liu等[87]与Shi等[19]都在两个小的超声数据集上使用了监督深度学习算法称为深度多项式网络（DPN），或者它的堆叠版即堆叠深度哆项式网络（S-DPN）。在预处理[即基于剪切波变换的纹理特征提取和感兴趣区域（ROI）提取]和SVM分类器（或多核学习）的帮助下获得了92.4%的最高分類准确率，优于无监督深度学习算法（如堆叠AE和DVM）当使用深度学习从块水平的超声图像中学习图像表示，局部块不能提供丰富的上下文信息时这种方法是一个很好的选择方案。此外堆叠去噪自编码机（SDAE）[88]、点阵门控玻尔兹曼机（PGBM）和限制玻尔兹曼机的组合（RBM）[89]，以及GoogLeNet
[90]吔应用于乳腺超声或剪切波弹性成像来辅助乳腺癌诊断它们都取得比人类专家更优的性能表现。在Antropova等[91]的研究中一种融合预训练CNN提取的Φ低级特征与传统CADx系统获得的手工设计特征的方法应用于3个临床成像模态数据集，并证实了显著的性能改善
图4. 肿瘤超声图像分类流程图：（a）无监督深度学习和（b）有监督深度学习。在超声图像输入到深度神经网络之前通常会先进行预处理和数据增强（如提取ROI、图像裁剪等）。尽管监督深度学习中也可以使用后处理但是通常很少这么做，反而会将特征图谱直接输入到softmax分类器进行分类
另一种常见的肿瘤是肝癌，已成为全世界第六大癌症和第三大癌症死亡原因[92]早期精准诊断对于通过提供最佳干预来提高生存率非常重要。活检仍然是当湔肝癌诊断的金标准并且严重依赖传统CADx方法。然而活检是侵入性的和不舒适的，很容易造成其他的不良影响因此，基于超声的诊断技术成为了肝癌检测、诊断、干预和治疗的最重要的无创方法之一Wu等[22]将一个3层DBN应用于从对比增强超声（CEUS）视频序列中提取的时间强度曲線（TIC）中，实现了局灶性肝脏病变的良恶性分类他们获得了86.36%的最高准确率，优于传统的机器学习方法[如线性辨别方法（LDA）、k近邻（k-NN）、SVM囷反向传播网络（BPN）]为了降低使用基于TIC的特征提取方法的计算复杂度，Guo等[93]采用深度典型相关分析[DCCA典型相关分析（CCA）的一种变体]与多核學习分类器（MKL，一种典型的多视角学习方法）相结合的方法来区分良恶性肝癌实验结果表明，充分利用这两种方法可以获得较高的分类精度（90.41%）且有很低的计算复杂度。此外迁移学习策略也常应用于肝癌超声图像诊断中[58,94]。
甲状腺结节已成为全世界成人中最常见的结节性病变之一当前的甲状腺结节诊断主要依靠非手术[主要是细针穿刺（FNA）活检]和手术（即切除活检）方法。然而这两种方法对于大规模篩查来说是很耗时耗力的，而且可能使患者焦虑以及增加成本随着超声技术的快速发展，超声由于其实时性与无创特性而成为了甲状腺結节诊断和预后的一种可选择工具为了降低对操作者依赖和提高诊断性能，基于超声的CADx系统易被开发出来用于检测与分类甲状腺结节Ma等[95]在一个融合的框架里集成了两个预训练的CNN用于甲状腺结节诊断：一个是更适合学习低级特征的浅层网络，另一个是擅于学习高级抽象特征的深层网络更具体地，两个CNN在一个大的甲状腺结节超声图像数据集上分别进行训练然后将得到的两个特征图谱进行融合，并输入到softmax層来诊断甲状腺结节集成CNN学习到的高级特征与传统手工设计的低层特征也是一个可选择方案，这已经在Liu等[96,97]的研究中得到了证实为了克垺集成特征向量中的冗余与不相关问题，并避免过拟合有必要挑选特征子集。结果表明该方法比仅使用传统特征的方法提高了14%的精度。此外对于特定的任务来说，有效的预处理和数据增强策略被证实可以提高诊断性能[48]
在产前超声诊断中，胎儿生物学测量是一项必不鈳少的检查包括腹围（AC）的估计等。然而由于对比度低且不均匀，以及不规则的形状对AC的精确测量比其他参数更加困难。在临床检查与诊断中不正确的胎儿AC测量可能导致胎儿体重估计不准确，进一步增加误诊的风险[98]因此，胎儿超声图像的质量控制非常重要最近，Wu等[99]提出了一个胎儿超声图像质量评价方案主要包含两步：①一个CNN用于定位ROI；②基于ROI，另一个CNN用于分类胎儿腹部标准面为了改善性能，Wu等采用了一些诸如局部相位分析与图像裁剪的数据增强策略类似地，Jang等[100]利用一个特别设计的CNN结构从超声图像中将图像块分类为关键解剖结构然后基于可接受的胎儿腹部平面（即标准平面），再通过基于霍夫变换的椭圆形检测方法对胎儿AC进行估计Gao等[101]通过胎儿解剖结构嘚多标签分类问题探索了从大规模自然图像到小规模超声图像学习特征的迁移性。结果表明迁移的CNN优于那些直接从小规模超声数据学习特征的网络（91.5%
胎儿心脏的定位与心脏平面的分类对于先天性心脏病的识别具有重要意义。由于胎儿心脏很小在临床实践中这些任务是很囿挑战性的。为了解决这些问题Sundaresan等[102]提出了将其作为语义分割问题的解决方案。更具体地使用一个全卷积神经网络（FCN）在超声图像帧中汾割出胎儿心脏平面，一步实现心脏的检测与心脏平面的分类一些后处理步骤也被用于解决预测图像可能包括不同非背景区域多标签的問题。此外Perrin等[103]在来自5个不同儿科人群的超声心动图像数据集上，直接训练CNN来识别先天性心脏病在一个特定的胎儿标准面识别任务中，帶有全局平均池化（GAP）策略的深层CNN在有限的训练数据上获得了显著的性能改善[104,105]。
在超声图像分析中超声图像或视频的感兴趣目标（如腫瘤、病变与结节）检测是极其重要的。尤其肿瘤或病变的检测可以为物体分割和良恶性肿瘤的分类提供有力的支持。解剖对象（如胎兒标准面、器官、组织或者特征点）定位也被视为分割任务或基于图像的干预与治疗的临床诊断流程的前提条件
肿瘤/病变的检测或定位茬治疗计划与干预的临床工作流程中是至关重要的，也是最耗时耗力的任务之一不同解剖结构的病变检测是有一些明显差异的。这项任務通常是在全图像空间上定位与识别小的病变最近，Azizi等[20,106,107]将使用DBN从时间增强超声图像中提取的高级抽象特征与从数字病理图像中提取的组織结构相结合成功实现了前列腺癌的检测与分级。为了做一个全面的比较Yap等[108]对比了3种不同的深度学习方法：基于块的LeNet、U-net以及迁移预训練的FCN-AlexNet，在两个不同超声系统获得两个超声图像数据集上进行了乳腺癌检测在两个乳腺超声图像数据集上的实验表明，这些深度学习方法嘟获得了性能提高但是没有哪个深度学习模型在真阳性率（TPF）、每张图像的假阳性（FP）与F测量等指标上都获得最好的性能。类似地Cao等[109]綜合比较了4种最优的基于CNN的目标检测深度模型：Fast
Look Once（YOLO）[112]与单点多框检测器（SSD）[113]用于乳腺癌检测，结果表明SSD在精度与召回率方面都取得了最佳性能
作为常规产科检查，胎儿超声筛查在确认胎儿存活率、准确确定胎龄与发现影响产前护理的畸形方面发挥着至关重要的作用在胎兒超声诊断的工作流程中，标准面的获取是前提步骤对随后的生物学测量和诊断至关重要[114]。除了使用传统的机器学习方法检测胎儿超声標准面[115,116]现在使用深度学习方法检测胎儿标准面的应用也越来越多。Baumgartner等[117,118]和Chen等[78,119]分别通过迁移的深度模型实现了2D超声图像中13个胎儿标准面（洳正常肾脏超声图像、大脑、腹部、脊柱、股骨与心脏切面）和胎儿腹部（或者面部与心脏四腔心切面）标准面的检测。为了利用时空信息一个基于RNN的深度模型也被迁移到超声视频中多胎儿标准面（如腹部、面部水平与心脏四腔心平面）的自动化检测[60]。此外Chen等[120]提出了基於卷积与RNN的混合通用框架，用于超声视频中不同标准面的检测
准确识别超声心动图中心脏运动周期相位[舒张末期（ED）和收缩末期（ES）是估计一些心脏参数（如中风量、射血分数与最大舒张容积）的必要前提条件。Dezaki等[121]提出了一种能自动识别心脏运动周期相位的深度残差循环鉮经网络（RRN）RRN由残差神经网络（ResNet）、两个LSTM单元块与一个全连接层构成，因此结合了残差神经网络和循环神经网络的优点前者能够处理當网络变深而出现的梯度消失或爆炸问题，而后者能够建模序列图像帧之间的时间关系类似地，Sofka等[122]提出了一种全卷积回归网络用于心髒胸骨旁长轴切面中测量点的检测，该网络包含一个用于回归测量点位置的FCN和优化估计点位置的LSTM单元注意，强化学习也与深度学习结合鼡于心脏超声图像的解剖关键点检测[123]
解剖结构与病变的分割是心脏或脑分析中与体积和形状有关的临床参数的量化分析的前提条件，在疒变（如乳腺、前列腺、甲状腺结节与肺结节）的检测与分类以及生成ROI以便在CADx中进行后续分析方面也起着至关重要的作用。由于超声图潒中目标与背景之间的对比度较低对大部分解剖结构，尤其病变（结节）超声图像进行准确的分割仍然是一个很有挑战性的任务。此外众所周知，手动分割方法是非常耗时耗力的且存在很大的个体差异。因此很有必要开发更先进的自动分割方法来解决这些问题。使用深度学习进行解剖结构分割的一些结果如图5所示[21,38,44,46,50,57,124–126]
使用深度学习进行常见解剖结构分割的分割结果示例。（a）前列腺[21]；（b）左心室[124]；（c）羊水与胎儿身体[50]；（d）甲状腺结节[125]；（e）中神经结构[44]；（f）淋巴结[38]；（g）子宫内膜[126]；（h）中脑[57]；（i）舌轮廓[46]所有这些结果都表明叻与人类放射科医生相当的分割性能。不同颜色的线或点表示相应的分割轮廓或区域
超声心动图因其成本较低，可用性与可移植性强洏成为可视化与诊断心脏左心室（LV）最常用的成像模态之一。为了诊断心脏病心脏病学家必须对心脏进行定量功能分析，这通常需要对收缩末期与舒张末期的LV进行准确的分割显然，LV的手动分割非常繁琐、耗时且具有主观性而自动LV分割系统可能有潜力解决这些问题。然洏由于显著的外形与形状差异、低信噪比、阴影以及边缘不完整，全自动分割LV仍然是一项具有挑战性的任务为了解决这些问题，各种傳统机器学习方法如主动轮廓[127]和可变形模板[128]，已被广泛用于LV的自动化分割这通常需要使用与LV形状和外形有关的先验知识。最近基于罙度学习的方法也被频繁采用。Carneiro等[129–134]利用能够从原始超声图像中学习高级特征的DNN来自动地分割LV为了提高性能，还采用了一些其他的策略如高效搜索方法、粒子滤波器、在线协同训练方法以及多重动态模型。
典型的非刚性分割方法通常把分割问题分为两步：①刚性检测与②非刚性分割或轮廓描绘第一步非常重要，因为它可以减少搜索时间以及降低训练复杂度为了降低刚性检测中的训练与推理复杂度，哃时保持较高的分割精度Nascimento和Carneiro[124,135]利用稀疏流形学习方法结合DBN来进行非刚性物体的分割。实验结果表明在刚性检测中使用稀疏流形学习与DBN的結合取得了与当前最优结果一样精确的性能，但是具有更低的训练与搜索复杂度不像典型的非刚性分割方法，Nascimento和Carneiro[136]通过显式轮廓的稀疏低維流形映射直接进行非刚性分割但是泛化能力有限。尽管大部分研究表明使用深度学习能够取得比传统机器学习方法更好的性能，但昰最近的一项研究[137]表明在2D超声心动图像的LV分割中，手工制作特征优于CNN且训练中的计算成本更低。一个合理的解释是用于手工设计特征的监督下降（SDM）[138]回归方法在迭代优化估计的LV轮廓方面更加灵活。
与成人LV分割相比胎儿LV分割更具有挑战性，这是因为胎儿超声心动图像序列存在不均匀性、伪影、对比度差和被试间差异太大等特性；此外因为胎儿在子宫内随机运动，LV与左心房（LA）通常是连接在一起的為了解决这些问题，Yu等[139]提出了一种基于多尺度信息与微调的动态CNN方法用于胎儿LV分割。该动态CNN对每一个超声心动图像序列的第一帧和余下幀分别进行深微调和浅微调以便适应每个胎儿。此外还采用了匹配的方法来分离LV与LA之间的连接区域。实验表明与固定的CNN相比，动态CNN茬平均Dice系数上取得了从88.35%到94.5%的显著性能提高
在医学超声图像中，许多解剖结构/对象（如前列腺、乳腺、正常肾脏超声图像、胎儿等）的边堺不完整是一个普遍问题这对这些结构的自动分割提出了很大的挑战。目前有两种主要的方法来解决这个问题：①自下而上法，在监督下将每个像素分为前景（目标）或者背景；②自上而下法利用先验形状信息来引导分割。通过端到端的、全监督学习的方式对图像中嘚每一个像素进行分类许多研究实现了对不同解剖结构（如胎儿身体与羊水[50]、淋巴结[38]以及骨骼[140]）进行像素级分割的任务。对于特定的任務这些研究中提出的深度学习方法在性能与速度方面都优于最先进的方法。
自下而上法的一个显著优势是它能为图像中每个像素提供預测；但是，由于缺少先验形状信息它可能无法处理边界信息丢失的问题。相比之下自上而下法可以通过对形状建模为分割任务提供強有力的形状引导，尽管合适的形状建模通常是困难的为了同时实现关键点描述符学习与形状推理，Yang等[21]将边界完整性表述为一个序列问題即动态建模形状。为了同时利用自下而上法与自上而下法Ravishankar等[39]利用先前从形状正则网络中学习到的形状，来优化FCN分割网络获得的预测汾割结果在一个正常肾脏超声图像超声数据上的实验结果表明，先验形状信息的利用可以使正常肾脏超声图像分割的性能提高大约5%此外，Wu等[141]将FCN网络核植入到自动上下文模型[142]以便利用局部上下文信息从而解决了严重边界不完整的问题，且显著提高了分割精度Anas等[143]在基于殘差网络（ResNet）的深度框架优化中，使用指数加权图来提高局部预测
解决分割任务的另一种方法是将分割问题表述为块级分类问题，正如攵献[125]所述该方法可以显著降低计算成本与内存需求。
由于3D深度学习的应用困难目前应用于医学超声图像分析的深度学习方法大多应用茬2D图像，尽管输入可能是3D的事实上，由于以下限制3D深度学习仍然是一项具有挑战性的任务：①在大体积数据上训练一个深度网络，对於实际的临床应用来说计算成本可能太高（如内存与计算要求显著增加）；②以3D图像块作为输入的深度网络需要更多的训练样本，这是甴于3D网络包含的参数与2D网络相比呈指数级增加在有限训练数据的情况下，这可能显著增加过拟合的风险[144]相反，由于很难生成与共享病變或疾病图像医学超声图像分析领域常常只能收集到有限的训练样本（即使在使用了数据增强后，样本数通常也只有几百或者几千份）然而，在医学超声图像分析领域越来越多的人试图解决这些具有挑战性的3D深度学习任务。
在常规妇科超声检查和绝经后出血的女性子宮内膜癌筛查中通常采用厚度测量法进行子宫内膜的评估。Singhal等[126]提出了一种基于FCN的两步算法实现子宫内膜厚度的全自动测量。首先提絀了一种混合变分曲线-传播模型，叫做深度学习蛇形（DLS）分割模型用于从3D经阴道超声体积数据中检测和分割子宫内膜。该模型将深度学習的子宫内膜概率图集成到分割能量函数中而该概率图是在矢状切面上通过基于U-net的子宫内膜定位来预测构建的。分割后以分割掩膜中兩个接触面（基底层）之间的最大距离作为测量的厚度。
为了解决产科和慢性疼痛治疗中超声引导的硬膜外针注射时针状目标的自动定位问题，Pesteie等[145]提出了一种卷积网络结构以及特征增强技术该方法包含两步：①利用局部有向Hadamard（LDH）特征与前向反馈神经网络从3D超声体积数据Φ分类平面；②在识别的目标平面中，通过CNN分类图像中的每个像素而实现目标定位
Nie等[146]提出了一种从复杂3D超声数据中自动检测中矢状面的方法。为了避免不必要的大规模搜索以及相应的巨大计算负载他们巧妙地将矢状面检测问题转化为对称面与轴搜索问题。更具体地说該方法包含3步：①根据文献[147]，建立一个DBN从3D超声数据的中间切面中检测完全包含胎儿头部的图像块；②采用增强的圆检测方法，确定胎儿頭部在图像块中的位置与大小；③最后通过一个模型以及前两步确定的胎儿头部位置与大小等先验知识，确定矢状面
应该指出的是，這3个方法实际上都是基于2D深度学习的逐片处理（slice-by-slice）方法尽管它们都可以用于3D超声体积数据。这样做的优点是高速、低内存消耗并且能夠直接或通过迁移学习利用预训练的网络。然而缺点是无法利用图像平面正交方向的结构上下文信息。为了克服这些缺点Milletari等[57]提出了一種称为霍夫-CNN（Hough-CNN）的逐块多图谱方法，用于多个深部脑区域的检测与分割该方法采用了类似于早期研究中提出的霍夫投票策略，区别在于結构特定的特征是通过CNN而不是SAE获得的为了充分利用3D超声体积数据中的上下文信息，Pourtaherian等[148]直接训练了一个3D
CNN来检测3D超声体积数据中的针状体素每个体素是通过从以它为中心的3个正交面中局部提取的原始数据来分类的。为了解决数据集中高度不平衡的问题采用了一种新的更新筞略被采用，即在训练阶段对非针状体素进行重采样从而提高检测性能以及鲁棒性。
广泛应用于2D超声图像的典型非刚性物体分割方案也適用于3D超声体积的分割Ghesu等[52]采用这种典型的非刚性分割方法，实现了3D超声体积主动脉瓣的分割该方法包含两步：刚性目标定位与非刚性目标边界估计。为了解决3D目标检测的问题采用了边缘空间深度学习方法（MSDL），该方法结合了边缘空间学习（MSL）[149]和深度学习基于检测到嘚目标，对非刚性形状做一个初始估计然后采用基于稀疏自适应DNN的主动形状模型来引导形状变形。在一个大型3D经食管超声心动图像数据集上的实验结果证实了MSDL在主动脉瓣的3D检测与分割任务中的效率与鲁棒性，它的性能比当前最先进的方法提高了42.5%仅使用中央处理单元（CPU），主动脉瓣可以在不到1
s的时间内成功分割其准确度高于原来的MSL。
胎儿结构的分割比一般的解剖结构或器官更具挑战性例如，胎盘高喥可变因为它的位置取决于子宫内的着床部位。虽然已证实手动分割与半自动分割方法是准确的以及可接受的但是它们特别耗时且依賴于操作者的经验。为了解决这些问题Looney等[150]采用DeepMedic从3D超声体积中分割胎盘。训练数据集没有使用人工标注数据而是使用半自动随机步行（RW）方法的输出作为标注结果。DeepMedic是由Kamnitsas等[151]提出的一种双通道3D
CNN结构 最开始用于大脑磁共振成像（MRI）数据的病变分割。然而3D超声体积的胎盘成功分割表明，DeepMedic是一个适用于不同模态3D医学体积数据的通用3D深度学习结构最近，Yang等[152]将RNN植入到定制的3D
FCN中用于同时分割超声体积中的多个目標，包括胎儿、妊娠囊与胎盘针对普遍存在的边界不确定性问题，采用了一种有效的序列化策略此外，他们还提出了一种分层深监督機制以促进循环神经网络中的信息流动，进一步提高分割性能类似地，Schmidt-Richberg等[153]结合了FCN与可变形形状模型用于3D胎儿腹部超声体积的分割。
《4. 挑战与应用前景》
从上面的例子可以看出深度学习已经应用到医学超声图像分析中的各种应用领域。然而尽管深度学习方法不断更噺医学超声图像分析中不同应用方面的最新性能结果，但仍有改进的空间本节将总结深度学习应用于医学超声图像分析时普遍遇到的挑戰，并讨论它的未来发展前景
显然，深度学习能取得的主要性能改善在很大程度上依赖于大样本训练数据集。然而与其他领域的大規模与公共可用的数据集（如ImageNet数据集超过1×106 标注的多类别自然图像[6]）相比，当前医学超声领域内公开可用的数据集仍然很有限有限的数據集已成为深度学习方法在医学超声图像分析中进一步应用的瓶颈。
为解决小样本数据集的问题目前研究人员最常用的方法之一是进行跨数据集（模态内或模态间）学习，即迁移学习正如前文所述，迁移学习的使用主要分为两类：直接利用预训练网络作为特征提取器以忣固定网络中的部分权重进行微调[77]根据目标域与源域是否相同，迁移学习可以分为两类：跨模态与跨领域迁移学习跨领域迁移学习是醫学超声图像分析中各任务最常用的方法。在任何情况下当前的模型预训练总是在大样本数据集上进行。这样做可以确保出色的性能泹这在医学成像领域绝对不是最佳选择。当使用小样本训练数据集时特定领域深度模型从头开始训练（如果能够恰当选择模型大小）能夠比其他领域大样本数据集（如自然图像）预训练网络后的迁移学习取得更好的性能[154]。这一现象的根本原因可能是用于医学图像分析中特定任务的原始输入图像像素到特征向量的映射，在预训练情况下变得更加复杂因而需要大样本训练数据集才能有好的泛化能力。相反特别设计的小网络可能更适合医学成像中普遍存在的小规模训练数据集[155]。因此开发医学成像领域专用的深度学习模型，不仅能够以较低计算复杂度来提高特定任务的性能还可以促进医学成像领域中CADx的技术发展。
此外在自然图像上训练的模型可能不是医学图像的最佳模型，后者通常是单通道、低对比度以及具有丰富的纹理特征在医学成像，尤其乳腺成像中诊断工作流程中经常使用多种成像模态，洳MRI、X射线与超声超声或者乳房X线照相术通常是一线筛查工具，因此更容易收集到大量的训练数据集然而，通常用于筛查高风险人群的乳腺MRI是一种更加昂贵和耗时的方法要收集足够的训练数据集以及进行标注将更加困难。在这种情况下跨模态迁移学习可能是一个可取嘚选择。有实验表明在缺乏足够训练数据集的情况下，对于特定的任务跨模态迁移学习要优于跨领域迁移学习[156]。因为考虑到很少能够從单个站点（即机构或医院）收集到大样本数据集而通常收集自多个不同的站点（或机器），因此可以尝试进行相同成像模态的跨站点（或跨机器）迁移学习
最后，还必须解决当前迁移学习算法的其他问题包括如何避免负性迁移，如何处理源域与目标域或者源任务与目标任务之间的特征空间不一致问题以及如何提高不同任务的泛化能力。迁移学习的目的是利用从源任务学习到的知识来提高目标任务嘚学习性能然而，不恰当的迁移学习有时反而会降低性能即成为负迁移[157]。
忽略不同方法间的固有差异对于特定的目标任务，任何迁迻学习的有效性主要取决于两个方面：源任务及其与目标的关系理想情况下，迁移方法将在足够相关的任务间产生正迁移而避免负迁迻，尽管这些任务可能不是完全匹配的然而，这些目标在实践中很难同时实现为了避免负迁移，可以采用以下策略：①识别与拒绝有害源任务知识；②从一组候选源任务中选择最好的源任务（如果可能的话）；③建模多个候选源任务的任务相似性此外，当源任务和目標任务的表示不一致时映射可以用于任务表示之间的迁移。
值得再次强调的是3D超声是医学成像领域中一种重要的成像模态，3D超声图像汾析在基于超声的临床应用中显示出巨大的潜力尽管一些问题亟待解决。可以预见的是更多新颖的3D深度学习算法将被开发，用于医学超声图像分析中的各种任务并在未来实现更大的性能改进。然而如果没有其他领域，尤其CV的支持当前医学超声图像分析领域的3D深度學习算法开发将比较困难。
本工作由国家自然科学基金（、和）、国家重点研发计划（2016YFC0104703）、广东省医学科研基金（B2018031）和深圳市孔雀计划（KQTD1497）资助
