Rockdu's Blog

.md source Multimodal Transformers.md 1 Transformers基础 1.1 原始的transformer模型 Attention Attention(Q,K,V)=Softmax(QKTd)V" role="presentation" style="position: relative;">Attention(Q,K,V)=Softmax(QKTd√)VAttention(Q,K,V)=Softmax(QKTd)V \text{Attention}(Q, K, V)=\text{Softmax}(\frac{QK^

*1 HeMIS MICCAI 2016 HeMIS: Hetero-Modal Image Segmentation 较早使用DL处理模态缺失问题的文章，encoder-decoder结构，方法比较粗糙 数据集 MSGC (src: 3D Segmentation in the Clinic: A Grand Challenge) https://www.nitrc.org/projects/msseg RRMS (无引用) BraTS2015 链接：https://www.smir.ch/BRATS/Start2015 2 PIMMS

概括 提出两种量化网络 Binary-Weight-Networks(BWN) 和 XNOR-Net ，并给出训练方法 基本概念 普通 CNN 可以用⟨I,W,∗⟩" role="presentation">⟨I,W,∗⟩⟨I,W,∗⟩\left表示 其中I=Il(l=1,...,L)" role="presentation">I=Il(l=1,...,L)I=Il(l=1,...,L)I=\mathcal{I}_{l(l=1,...,L)}为每层输入张量，I∈Rc&