文献 《Inherent Consistent Learning for Accurate Semi-supervised Medical Image Segmentation》——2023 CVPR

摘要：近年来，由于医学图像注释的高成本，半监督的医学图像分割引起了广泛的关注。本文提出了一种新颖的内在一致性学习（ICL）方法，该方法旨在通过标记数据和未标记数据的语义一致性指导来学习稳健的语义类别表征，以帮助医学图像分割。本文引入了两个基于注意力机制的外部模块，即 监督语义代理适配器（SSPA） 和 无监督语义一致性学习者（USCL），这两个模块对已标注和未标注数据的语义类别表征进行调整，并在整个训练集中更新全局语义表征。上面说到的 ICL 是一个适用于各种网络结构的即插即用方案，两个模块不参与测试阶段。在三个公共基准上的实验结果表明，在注释数据的数量极其有限的情况下，所提出的方法可以超越SOTA。 　

ICL框架图
ICL框架图

　

框架包括一个带有分割头的单一编码器-解码器模型，两个新提出的外部模块，名为监督语义代理适应器（SSPA）和无监督语义一致学习器（USCL），以及一个初始化的语义感知代理Q∈RZ×4C，旨在从有限的标记数据中转移在不同囊中学习到的语义表示。Z和C表示类别的数量（包括背景）和最后一个尺度的标记化特征维度。4C是由于比例因子而导致的当前代理的维度。在训练中，xl和xu都被送入编码器-解码器主干，为SSPA和USCL模块生成多尺度中间特征{F l, F u}，通过与初始化的语义感知代理互动，执行固有的一致性学习方案。值得注意的是，这样的策略同时适用于二维和三维网络，这些外部模块在推理阶段被丢弃。

启发点：这篇文章横向对比了好几个模型，如下所示。从这些模型中，我们可以发现不少近些年的半监督SOTA模型。半监督比较注重数学思想。

Comparison with baselines and existing methods. We compare our proposed frame-work with four baselines and some recent SOTA semi-supervised segmentation methods, including Entropy Minimization (Ent-Mini) (Vu et al., 2019), Cross Consistency Training (CCT) (Ouali et al., 2020), FixMatch (Sohn et al., 2020), Regularized Dropout (R-Drop) (Wu et al., 2021), Cross Pseudo Supervision (CPS) (Chen et al., 2021b), Uncertainty Rec-tied Pyramid Consistency (URPC) (Luo et al., 2022b) and Cross Teaching between CNN and Transformer (CTCT) (Luo et al., 2022a).

  • Entropy Minimization (Ent-Mini) (Vu et al., 2019)
  • Cross Consistency Training (CCT) (Ouali et al., 2020)
  • FixMatch (Sohn et al., 2020)
  • Regularized Dropout (R-Drop) (Wu et al., 2021)
  • Cross Pseudo Supervision (CPS) (Chen et al., 2021b)
  • Uncertainty Rectified Pyramid Consistency (URPC) (Luo et al., 2022b)
  • Cross Teaching between CNN and Transformer (CTCT) (Luo et al., 2022a)

BraTS

BraTS 数据集是脑肿瘤分割比赛数据集，brats 2018 中的训练集（ training set） 有 285 个病例，每个病例有四个模态（t1、t2、flair、t1ce），需要分割三个部分：whole tumor（WT）， enhance tumor（ET）， and tumor core（TC）。

  • t1、t2、flair、t1ce 可以理解为核磁共振图像的四个不同纬度信息，每个序列的图像 shape 为（155,240,240）

  • 目标是分割出三个 label。对应医学中的三个不同肿瘤类型。

AMOS

在 AMOS 数据集中，300 个 CT 样本，200 个用于训练和 100 个用于验证。 特别是，我们从训练集中随机选择每个域的一个样本并重复 5 次，为第一个半监督设置获得 15 个标记扫描。 为了获得另一个半监督设置，我们将选择重复了 5 次，并获得了 30 次标记扫描，而之前获得了 15 次标记扫描。 此外，我们执行类似的策略，选择 30 次扫描形成验证集，以在训练期间验证和选择最佳模型，其余 70 次扫描用于后期测试。

ACDC

Automated Cardiac Diagnosis Challenge (ACDC)

ACDC 数据集是根据在第戎大学医院获得的真实临床检查创建的，获取的数据完全匿名。数据集由 150 个配准对（均来自不同的患者）组成，分为 5个均匀分布的亚组（4 个病理组和 1 个健康受试者组）。此外，每位患者都带有以下附加信息：体重、身高以及舒张期和收缩期瞬间。

ACDC 数据集为临床和算法研究提供了左心室 (LV)、心肌 (Myo) 和右心室 (RV) 的分割掩膜。

该研究的目标人群由150名患者组成，分为以下5个亚组:

30名正常受试者- NOR

既往心肌梗死患者30例(左心室射血分数低于40%，多段心肌收缩异常)- MINF

扩张型心肌病30例(左室舒张容积>100 mL/m2，左室射血分数低于40%)- DCM

肥厚性心肌病30例(左室心脏质量大于110g /m2，舒张期数段心肌厚度大于15mm，射血分数正常)- HCM

右心室异常(右心室容积大于110ml /m2或右心室射血分数低于40%)- RV患者30例

根据左、右舒张容积或射血分数、左室局部收缩、左室质量、心肌最大厚度等生理参数明确各组。更多细节可以在分类规则选项卡上找到。

训练集：

训练数据库由100名患者组成，具体如下:

  • 健康患者20例;

  • 既往有心肌梗死病史20例;

  • 扩张型心肌病20例;

  • 肥厚性心肌病20例;

  • 右心室异常20例;

对于所有这些数据，还提供了由临床专家提供的相应手册参考以及关于患者的附加信息(年龄、体重、身高和舒张-收缩期时刻)。

测试集：

测试集由50例患者组成，具体如下:

  • 健康患者10例;

  • 既往有心肌梗死病史10例;

  • 扩张型心肌病10例;

  • 肥厚性心肌病10例;

  • 右心室异常10例;

对于所有这些数据，还提供了由临床专家提供的相应手册参考以及关于患者的附加信息(年龄、体重、身高和舒张-收缩期时刻)。

论文中涉及到的指标：

ED：End-Diastole，舒张末期 ES：End-Systole，收缩末期 EDV：End-Diastolic Volume，舒张末期容积 ESV：End-Systolic Volume，收缩末期容积