摘要:近年来,由于医学图像注释的高成本,半监督的医学图像分割引起了广泛的关注。本文提出了一种新颖的内在一致性学习(ICL)方法,该方法旨在通过标记数据和未标记数据的语义一致性指导来学习稳健的语义类别表征,以帮助医学图像分割。本文引入了两个基于注意力机制的外部模块,即 监督语义代理适配器(SSPA) 和 无监督语义一致性学习者(USCL),这两个模块对已标注和未标注数据的语义类别表征进行调整,并在整个训练集中更新全局语义表征。上面说到的 ICL 是一个适用于各种网络结构的即插即用方案,两个模块不参与测试阶段。在三个公共基准上的实验结果表明,在注释数据的数量极其有限的情况下,所提出的方法可以超越SOTA。
框架包括一个带有分割头的单一编码器-解码器模型,两个新提出的外部模块,名为监督语义代理适应器(SSPA)和无监督语义一致学习器(USCL),以及一个初始化的语义感知代理Q∈RZ×4C,旨在从有限的标记数据中转移在不同囊中学习到的语义表示。Z和C表示类别的数量(包括背景)和最后一个尺度的标记化特征维度。4C是由于比例因子而导致的当前代理的维度。在训练中,xl和xu都被送入编码器-解码器主干,为SSPA和USCL模块生成多尺度中间特征{F l, F u},通过与初始化的语义感知代理互动,执行固有的一致性学习方案。值得注意的是,这样的策略同时适用于二维和三维网络,这些外部模块在推理阶段被丢弃。
启发点:这篇文章横向对比了好几个模型,如下所示。从这些模型中,我们可以发现不少近些年的半监督SOTA模型。半监督比较注重数学思想。
Comparison with baselines and existing methods. We compare our proposed frame-work with four baselines and some recent SOTA semi-supervised segmentation methods, including Entropy Minimization (Ent-Mini) (Vu et al., 2019), Cross Consistency Training (CCT) (Ouali et al., 2020), FixMatch (Sohn et al., 2020), Regularized Dropout (R-Drop) (Wu et al., 2021), Cross Pseudo Supervision (CPS) (Chen et al., 2021b), Uncertainty Rec-tied Pyramid Consistency (URPC) (Luo et al., 2022b) and Cross Teaching between CNN and Transformer (CTCT) (Luo et al., 2022a).
- Entropy Minimization (Ent-Mini) (Vu et al., 2019)
- Cross Consistency Training (CCT) (Ouali et al., 2020)
- FixMatch (Sohn et al., 2020)
- Regularized Dropout (R-Drop) (Wu et al., 2021)
- Cross Pseudo Supervision (CPS) (Chen et al., 2021b)
- Uncertainty Rectified Pyramid Consistency (URPC) (Luo et al., 2022b)
- Cross Teaching between CNN and Transformer (CTCT) (Luo et al., 2022a)
$T_{1}$ 蓝色部分表示真实脑肿瘤区域(GroundTruth), $T_{0}$ 除蓝色以外的其它部分为正常脑区域。$P_{1}$ 红色部分表示预测的脑肿瘤区域,$P_{0}$ 除红色以外的其它部分为预测的正常脑区域。
假设正样本为脑肿瘤,负样本为正常脑组织,整个脑部区域为$\Omega$,则有如下:
TP:True Positive,被判定为正样本,事实上也是正样本 ,即蓝色与红色的交集:$T_{1} \cap P_{1}$
TN:True Negative,被判定为负样本,事实上也是负样本,即红色与蓝色以外区域: