多尺度模块

‌‌‌‌　　医学图像分割中的一个挑战是对象之间的大范围尺度。例如，中晚期肿瘤可能比早期大得多。感知场的大小大致决定了我们可以使用多少上下文信息。一般的卷积或池化仅使用单个内核，例如，3×3内核用于卷积，2×2内核用于池化。

金字塔池化

‌‌‌‌　　多尺度池的并行操作可以有效地改善网络的上下文信息，从而提取更丰富的语义信息。He等人首次提出了 空间金字塔池化（SPP）¹ 来实现多尺度特征提取。SPP将图像从精细空间分割到粗糙空间，然后收集局部特征并提取多尺度特征。受SPP启发，Gu等设计了一个多尺度信息提取块，并命名为残差多核池（RMP）²，该块使用四个不同大小的池核来编码全局上下文信息。然而，RMP中的上采样操作不能恢复由于池化而导致的细节信息丢失，池化通常会扩大感受野，但会降低图像分辨率。

空洞空间卷积池化金字塔

#重要框架 ‌‌‌‌　　为了减少池化操作造成的细节信息丢失，研究人员提出了空洞卷积而不是polling操作。 与普通卷积相比，空洞卷积可以在不增加参数数量的情况下有效扩大感受野。 Chen 等人结合了空洞卷积和 SPP 块的优点，提出了 atrous spatial pyramid pooling module (ASPP) ³来改善图像分割结果。 ASPP 对不同尺度的相同物体表现出很强的识别能力。

‌‌‌‌　　同样，Lopez等人和Lei等人分别将多尺度空洞卷积叠加应用于脑肿瘤分割和肝肿瘤分割，取得了明显的精度提升。

‌‌‌‌　　然而，ASPP 在图像分割方面存在两个严重的问题。 第一个问题是局部信息的丢失，如图 12 所示，我们假设卷积核为 3×3，dilation rate 为 2，进行三次迭代。 第二个问题是信息可能在很远的距离内是无关紧要的。 如何同时处理不同尺度对象之间的关系对于设计一个精细的空洞卷积网络很重要。 针对上述问题，Wang 等人设计了一种hybrid expansion convolution （HDC）⁴ 网络。 该结构使用类似锯齿波的启发式算法来分配dilation rate，从而可以访问更宽像素范围的信息，从而抑制网格效应（gridding effect）。 作者给出了几个使用可变dilation rate的空洞卷积序列，例如[1,2,3]，[3,4,5]，[1,2,5]，[5,9,17]， 和 [1,2,5,9]。 ‌‌‌‌　　

Non-local and ASPP

‌‌‌‌　　空洞卷积可以有效地扩大感受野以收集更丰富的语义信息，但由于网格化效应会导致细节信息丢失。 因此，有必要添加约束或建立像素关联以提高空洞卷积性能。 最近，杨等人提出了 ASPP 和 Non-local 的组合块⁵用于人体部位的分割，如图 13 所示。ASPP 使用多个不同尺度的并行空洞卷积来捕获更丰富的信息，与此同时，Non-local 操作捕获了一个大范围内的依赖性。 这种组合兼具ASPP和Non-local的优点，在医学图像分割方面具有良好的应用前景。

‌‌‌‌　　

‌‌‌‌　　网络功能模块旨在执行更高效的特征融合。 当特征通常由编码器提取时，特征通常由网络功能模块进行融合以增强特征表示。特征融合通常是通过融合不同尺度的信息或采用一种更有效的特征传递方式来实现的。然后将特征通过解码器，得到较好的分割结果。