分类 - 机器学习

2020-07-01 17:06:14    4    0    0

Title


Info

  • Conference:
  • Cites:
  • Github Stars:
  • Github Solved/Issue:
  • Author:

Main Idea

2020-07-01 17:06:14    4    0    0

Title


Info

  • Conference:
  • Cites:
  • Github Stars:
  • Github Solved/Issue:
  • Author:

Main Idea

2020-07-01 17:06:14    157    0    0

Episodic Training for Domain Generalization


Info

  • Conference: ICCV 2019 Oral
  • Cites: 30
  • Github Stars: 24
  • Github Solved/Issue: 1/3
  • Author: title

Main Idea

  • Domain Generalization 任务是给 N 个 domain,然后模型在其中 N-1 个上学,1个中预测。
  • DG 的 baseline, 直接在 N-1 个上直接训,一个上预测。
  • 本文方法:
  • 一个直接学的主 feature extractor 和 主 classifier
  • title
  • 然后每个 domain 学一个
  • title
  • 然后子网络和主网络交叉训练
  • title
  • 即对于主classifier(一共一个主classifier),接子任务的 feature extractor 做预测。
  • title
  • 再来每个domain,接一个random classifier(这就离谱,不过训的时候random classifier的权重比较低,大约1/5 ~ 1/10,多半起到一个正则化的作用)
  • title
  • 整体效果,它说挺好
  • title
  • Ablation study
  • title
  • 可能复现才知道靠不靠谱了
2020-07-01 17:06:14    153    0    0

Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification


Info

  • Conference: AAAI 2019
  • Cites: 10
  • Github Stars: 30
  • Github Solved/Issue: 1/1
  • Author: title

Main Idea

  • 有意思的一篇文章,finetune的时候,每次把后几层(fc除外)直接重置,再接着finetune,比直接finetune高不少。
  • title
  • 方法:
  • title
  • Ablation Study, 只 roll back 学习率
  • title
  • 学出来的区别:
  • title
  • Generality of rolling back scheme:
  • Our method is effective for the problems that require detailed features for discrimination.

Comments

  • 这个结论基本符合直觉,以及开源了代码,应该是靠谱的。
  • 这个和做DA有点类似,都是 low-level feature 的 shift 是最大的,而中高层的语义是差不多的,所以这么做有些道理。
2020-07-01 17:06:14    202    0    0

Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model


Info

  • Conference: NIPS 2018
  • Cites: 57
  • Github Stars: 46
  • Github Solved/Issue: 0/2 (知乎听闻复现有问题,据说github代码复现效果极差,根据paper的描述也没人能复现)
  • Author: title

Main Idea

  • Combine VAE with GAN, 期望输入假图像时,让编码尽可能远离 Pz
  • title
  • title
  • 我觉得主要是这个清晰度很高
  • title
2020-07-01 17:06:14    240    0    0

Wasserstein Auto-Encoder


Info

  • Conference: ICLR 2018
  • Cites: 372
  • Github Stars: 406
  • Github Solved/Issue: 6/12
  • Author: title

Main Idea

  • 就是说,都映射到 N(0,I) 了, 这个编码就没意义了,于是放弃中间为 N(0,I)
  • title
  • 为此,目的改为使得每个 X 对应的分布的混合为 N(0,I),然后判断单个样本是否属于 PZ, 判断方法为 MMD 或者 WGAN。(好像WGAN效果更好)
  • 修改重建损失为:
  • title
  • 中间分布的loss;
  • title
  • 效果:
  • title
  • title
VAE    2020-07-01 17:06:14    231    0    0

Auto-Encoding Variational Bayes


Info

  • Conference: ICLR 2014
  • Cites: 9522
  • Github Stars: --
  • Github Solved/Issue: --
  • Author: title

Main Idea

  • VAE 介绍
  • 目标:近似 P(X) 的分布
  • title
  • P(Z|X) 服从 N(0,I), 从而 P(Z) 也是 N(0,I)
  • title
  • 与 Auto Encoder 不同的是,中间这一部分是正态分布
  • title
  • 解决采样不可导问题
  • title
  • 训练时中间分布的loss (与 N(0,I) 的 KL):
  • title
2020-07-01 17:06:00    7    0    0

Title


Info

  • Conference:
  • Cites:
  • Github Stars:
  • Github Solved/Issue:
  • Author:

Main Idea

Domain Adaptation    2020-06-29 21:46:34    260    0    0

Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation


Info

  • Conference: CVPR 2020
  • Cites: 4
  • Github Stars: 9
  • Github Solved/Issue: 0/0
  • Author: title

Main Idea

  • 分割中的类中心对齐,对齐 stuff(天,树,地) 的特征和 Instance 的特征,其中对齐 Instance 的特征是为了保留 Instance 的单个特性
  • title
  • title
  • Loss 设计上就是目标域特征离源域最近特征的L1距离
  • title
  • title
  • 整体效果可以
  • title
  • title
  • 其中SSL是self-supervised learning, 训练分两步,第一步常规对抗训练
  • title
  • 第二步加上 pseudo labels (按照置信度来划分的阈值)。

Comments

  • 网络结构图里面没有 image transferring, 但是 ablation study 里面有,文章也没说到底用在哪里。
  • 类中心对齐有了,伪标签也有了,还差个moving average了(这个到底和mutual learning重吗)
2020-06-29 21:46:31    297    0    0

ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation


Info

  • Conference: CVPR2019 Oral
  • Cites: 74
  • Github Stars: 174
  • Github Solved/Issue: 15/20 (unsolved issue with reproducibility)
  • Author: title

Main Idea

  • 把网络分割输出的熵(置信度)作为一个可学习项。
  • title
  • title
  • 网络结构
  • title
  • 方法有直接最小化,或者用一个Discriminator
  • title