MRI影响缺失模态分割论文&总结[更新中]

### *1 HeMIS

- MICCAI 2016
- HeMIS: Hetero-Modal Image Segmentation
- 较早使用DL处理模态缺失问题的文章，encoder-decoder结构，方法比较粗糙

#### 数据集

**MSGC** (src: 3D Segmentation in the Clinic: A Grand Challenge)

- https://www.nitrc.org/projects/msseg

**RRMS** (无引用)

**BraTS2015**

- 链接：https://www.smir.ch/BRATS/Start2015

### 2 PIMMS

- PIMMS: Permutation Invariant Multi-Modal Segmentation
- 在HeMIS模态缺失问题的基础上提出模态标签缺失问题（即有模态输入但是不知道哪个输入对应哪个模态）

### 3 RS-Net

- MICCAI 2018
- RS-Net: Regression-Segmentation 3D CNN for Synthesis of Full Resolution Missing Brain MRI in the Presence of Tumours
- 使用3d U-Net，U-Net生成中间表示。中间表示层接两个头，一个用于合成缺失模态一个用于分割

#### 数据集

**BraTS2015/2017**

### *4 Brain Tumor Segmentation on MRI with Missing Modalities

- IPMI 2019
- Brain Tumor Segmentation on MRI with Missing Modalities
- U-net架构，不同模态使用不同encoder
- skip链接和bottleneck上融合不同模态，融合方法为不同模态直接相加
- 训练方法：模态dropout
- **亮点** 域对抗相似度：用一个判别器D判断中间层feature map是源域还是目标域，训练U-net尽量让判别器D区分不开，训练判别器D尽量去区分feature map
  - 基本和领域自适应的DANN一模一样

#### 数据集

**BraTS2017**

### 5 U-HVED

- MICCAI 2019
- Hetero-Modal Variational Encoder-Decoder for Joint Modality Completion and Segmentation
- 魔改网络，多模态MVAE+3d U-net。具体为：
  - 每个模态一个encoder，encoder中每个阶段特征图大小/2。每个阶段的末尾生成一个总融合特征，融合所有encoder在该阶段的输出，做为隐变量的均值和方差。
  - 每个模态一个decoder，每个decoder和U-net一样输入为对应大小的总融合特征和上采样结果的和
  - 分割头为一个decoder，和U-net一样输入为对应大小的总融合特征和上采样结果的和
  - 分割头和模态头唯一的不同就是最后一层卷积层输出的channel数
- **亮点** 多模态VAE

#### 数据集

**BraTS2018**

### 6 ACN

- MICCAI 2021
- ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities
- **亮点** 1）双路U-net，一路采用多模态，一路采用缺失的一个单模态。2）一个对抗模块KnA，通过两路U-net瓶颈处特征判断多模态输入是否有缺失（使得多模态U-net缺失时）3）一个对抗模块EnA，通过两路U-net的segmentation map判断多模态输入是否有缺失
- 感觉就是对抗网络域适应
- 花里胡哨

#### 数据集

**BraTS2018**

### 7 RFNet

- ICCV 2021
- RFNet: Region-aware Fusion Network for Incomplete Multi-modal Brain Tumor Segmentation
- 细节之：缺失模态置为全0
- **亮点**：1）引入分割结果的空间attention：本层的各个模态和上层模态融合的结果一起生成本层的分割结果，并且用本层的分割结果矩阵（矩阵元素为每个voxel是k个种类中每个种类的概率，是一个voxel*k的矩阵）作为一个空间attention作用在本阶段的融合上，产生k个融合结果，再进行融合。2）正则方法：使得每个模态的encoder提取的特征由同一个decoder分割的效果最佳（原文：减少某个模态的encoder被训练来提取特定某个特征的情形）3）SE（Attention Module）：全部m个模态用第k类的分割结果产生的m个特征矩阵，用一个魔改的类SE的channelwise（modalwise） attention模块重新分配权重再通过一层卷积融合
- 主要收获：分割结果做空间attention这件事（原文：每个模态对每个位置的重要程度可能不同）和SE的泛用性

#### 数据集

**BraTS2015/2018/2020**

### 8 SMU-Net

- PMLR 2022
- SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities
- 基于蒸馏的方法，训练两个U-Net，一个teacher一个student
- **亮点**：1）内容蒸馏和风格（纹理、对比度、饱和度等）蒸馏：内容为Unet的encoder的最后一层输出，纹理为encoder的所有层输出的concat。2）风格蒸馏采用三个loss：分布匹配（KL散度）、对抗匹配（对抗网络判断哪个是missing）、纹理匹配（Gram矩阵MSE）
- 收获：**Gram矩阵可表示纹理**，以及可以用于纹理蒸馏

### 9 Missing MRI Pulse Sequence Synthesis using Multi-Modal Generative Adversarial Network

- IEEE Transactions on Medical Imaging
- 并非分割任务的文章，只是生成缺失MRI模态
- 很简单的GAN，G为多通道的U-Net，和ground truth做L1 loss；D用patchGAN思想，将图片分为很多patch逐个判断是否为真
- 收获：主要是patchGAN的思想

### 10 KDD-Net

- KDD 2020
- Multimodal Learning with Incomplete Modalities by Knowledge Distillation
- 双模态，训练数据缺失
- 方法：训练两个teacher，分别只用模态1和模态2的输入训练。然后两个teacher同时对student进行蒸馏来训练student

#### 数据集

**ADNI** Alzheimer’s Disease Neuroimaging Initiative

Rockdu's Blog

导航

最近发表

大佬们的友链