DE⫶TR: End-to-End Object Detection with Transformers

# DE⫶TR: End-to-End Object Detection with Transformers

---

## Info

* Conference: ECCV 2020
* Cites: 114
* Github Stars: 6.1k
* Github Solved/Issue: 215/274
* Author: ![title](https://leanote.com/api/file/getImage?fileId=601f8e41ab64413ace000317)

---

# Main Idea

* 这也过于火爆了吧！
* Transformer 做 Detection，没有 Anchor，decode出来就是 BOX。
* 先用 CNN backbone 提取到 $2048 \times \frac{H_0}{32} \times \frac{W_0}{32}$ 维度。FFN是4层MLP，预测中心以及边长还有分类（有一个empty类）。
* ![title](https://leanote.com/api/file/getImage?fileId=601f9d23ab64413cca0002ad)
* ![title](https://leanote.com/api/file/getImage?fileId=601f8e99ab64413cca00028e)
* Object Query 也是训练出来的
* ![title](https://leanote.com/api/file/getImage?fileId=601f9df1ab64413cca0002af)
* 定义了如下Loss来避免输出重复结果（Loss用到了二分图匹配）
* ![title](https://leanote.com/api/file/getImage?fileId=601f9e33ab64413ace0003ae)
* positional encoding 加的非常狠，Encoder 每一层都加，Decoder 也加的更多。

# Results

* ![title](https://leanote.com/api/file/getImage?fileId=601f9ce0ab64413ace0003a3)
* ![title](https://leanote.com/api/file/getImage?fileId=601f8fd7ab64413cca000290)
* ![title](https://leanote.com/api/file/getImage?fileId=601f900dab64413ace000321)
* ![title](https://leanote.com/api/file/getImage?fileId=601f9055ab64413ace000322)
* 同时把分割也给做了
* ![title](https://leanote.com/api/file/getImage?fileId=601f90a3ab64413ace000324)
* ![title](https://leanote.com/api/file/getImage?fileId=601f90bcab64413ace000327)

# Comments

* 不得不说作者对于 Transformer 的理解非常透彻。
* 无论之前的论文还是这篇，都看得出来一件事情——底层特征提取还是CNN历害，高层特征就该转向Attention-Based Methods 更能够兼顾全局。
* 这个网络听说要训练很久。
* 这个FFN看起来还挺有改进的空间，看看有没有人做。
* 至于为什么 Position Encoding 是直接加在 Feature 上的，以及为什么能 work 没看到解释。
* 适合 CNN 的 Position Encoding 也值得研究。

wuvin

导航

最近发表

友情链接