Compressed Sensing using Generative Models

硬核机器学习课

# 首先介绍什么是Compressed Sensing（压缩感知）

这一段参考自[如何理解压缩感知(compressive sensing)？
](https://www.zhihu.com/question/28552876)

* 在现有的传统的信号处理模式中，信号要采样、压缩然后再传输，接收端要解压再恢复原始信号。采样过程要遵循奈奎斯特采样定理，也就是采样速率不能小于信号最高频率的两倍，这样才能保证根据采样所得的信息可以完整地恢复出原始信号。压缩感知在接收端通过合适的重构算法就可以恢复出原始信号，因此可以避免在传统的信号处理模式中的数据浪费和资源浪费问题。
* 压缩感知最初提出时，是针对稀疏信号x，给出观测模型$y=\Phi x$时，要有怎么样的$\Phi$，通过什么样的方式可以从$y$中恢复出$x$。（PS：稀疏信号，是指在这个信号x中非零元素的个数远小于其中零元素的个数。）
* Tao他们还推导了Restricted Isotropic Property (RIP)  (可以理解成空间映射能基本保持稀疏向量长度，“伸缩度”很小)等一系列理论，证明了为了达到完美恢复，采样矩阵和信号稀疏度需要满足的条件和相互之间的关系。
* 然而，很多信号本身并非稀疏的，比如图像信号。此时可以通过正交变换Ψ’，将信号投影到另外一个空间，而在这个空间中，信号$a=\Psi*x$(analysis model)变得稀疏了。然后我们可以由模型$y=\Phi*a$，即$y=Φ*Ψ*x$，来恢复原始信号x。(PS:正交变换——对一个由空间$R^n$投射到同一空间$R^n$的线性转换，如果转换后的**向量长度与转换前的长度相同**，则为正交变换)
![title](https://leanote.com/api/file/getImage?fileId=5d8dc86dab6441137500086b)
* 后来，人们发现不仅仅能够通过正交变换，得到稀疏的信号；还可以通过一个字典D，得到稀疏信号$x=D*a$(synthesis model)，$a$是稀疏的，为了增强变换后信号的稀疏性，通常D是过完备的。即模型$y=Φ*x=Φ*D*a$，此时记$A^{CS}=Φ*D$，即为感知矩阵。这个模型，是我们现在最常用的。当D可逆的时候，后面两个模型等价。（常用的DCT变换，小波变换，双树小波变换，均满足此条件。）

# 这篇paper 在干什么

* 使用generative models做Compressed Sensing.
* 有一个generative model， $G:R^k \rightarrow R^n$($k << n$)。
* 有一个观测量 $y = Ax* + \eta$， 其中$A$是感知矩阵,$x*$是原图像，$\eta$是噪音向量，$y$是维度为$m$的向量（$m << n$, $y$也称作 measurement）。
* 要做的是用梯度下降，找到representation space中的$z$，使得$loss(z) = |AG(z)-y|^2$尽量小。

# 证明了一些什么东西

* 如果A是random Gaussian matrix，m相对够大（相对n还是很小），并且$G$用ReLU作为激活函数，则之前提到的$loss(z)$的全局最优解$z^*$附近$\epsilon$的解$\hat{z}$，大概率是一个不错的解。
![title](https://leanote.com/api/file/getImage?fileId=5d8dd52eab644113750008fd)
* 对于不用ReLU的情况
![title](https://leanote.com/api/file/getImage?fileId=5d8dd6e5ab64411375000918)
* REC条件，The REC essentially requires that all “approximately
sparse” vectors are far from the nullspace of the matrix A. 就是所有稀疏的$x$满足$\frac{||Ax||}{x} > 0$。即所有稀疏的$x$模长不会变形太严重。
* SREC条件，对于集合S中的$x$及之间距离不会变形太严重。
![title](https://leanote.com/api/file/getImage?fileId=5d8dd8e2ab64411166000984)

![title](https://leanote.com/api/file/getImage?fileId=5d8dd9d2ab64411375000949)

* 随机一个A对于我们$G(Z)$生成的$x$基本都满足SREC。
![title](https://leanote.com/api/file/getImage?fileId=5d8ddeb9ab644111660009ef)

* 最优化$|y-Ax|$能得到一个很好的解
![title](https://leanote.com/api/file/getImage?fileId=5d8de3a1ab64411166000a30)

# performance

![title](https://leanote.com/api/file/getImage?fileId=5d8de592ab64411166000a44)

![title](https://leanote.com/api/file/getImage?fileId=5d8de60fab64411166000a4d)

![title](https://leanote.com/api/file/getImage?fileId=5d8de5f9ab64411166000a4b)

wuvin

导航

最近发表

友情链接