Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

  • Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

好久没学术了…… 这回轮到我 paperReading ,才好好整理一篇文章。

简介

这篇文章中了 CVPR 2018 的 poster,处理的问题是 blind denoising,就是不知道噪声水平下的去噪。作者来自中山大学和 CVTE,看 title 真的好厉害,可惜一作二作窝都没有搜到什么信息,仰慕不得……

文章的方法是把 DCGAN 和 DnCNN 的框架给整合到一起了,整个流程是给一堆 noisy images 和一堆 clean images,不需要是 paired,然后先用 GAN 对噪声进行建模并得到大量噪声块。用生成的噪声块和 clean images 配对喂给 CNN 进行去噪。

模型介绍

第一步是进行 Noise Modeling,首先要提取噪声块。

噪声块提取得比较迷……
为了减弱原图背景的影响,提取 noise block 的时候要选取 weak background 的部分。
文中定义了一个 smooth patch,用噪声图像减去 smooth patch 的均值得到噪声块。
注:基于一个假设 —— 噪声分布的期望是 0

怎么找这种 patch 呢?$p_i$在原图上按照固定步长走,$q_j^i$ 是在 $p_i$ 上按照固定步长走。

作者表示,在高清大图中,有充分多的 eligible smooth patch,比如 sky、walls 可以用来提取。

第二步是送给 GAN 了,用 GAN 来解决 Noise Modeling 的任务。

GAN 的特点是提供 more diversity,而且 model implicitly 也可以效果更好。

文中使用的是 WGAN-GP。

其他部分其实就是 DCGAN 的结构。

第三步是送给 CNN 了。这里使用的是 DnCNN 的结构,也是预测残差。

实验结果

测试分为四部分:

  1. Gaussian blind denoising task
  2. mixture noise
  3. realistic noise
  4. compare noise samples

测试用的数据集是 BSD68,DND 和 NIGHT。CNN 使用的干净图片来自 CLEAN1 和 CLEAN2 集合,文中并没有详细说是哪来的。

Gaussian

训练过程中不提供 noise info。

GCBD 和 DnCNN-B 结果差不多好,作者表示这说明 GAN 生成的结果已经足够优秀了。

Mixture

Mixture Noise = 10% uniform noise $[-s, s]$ + 20% Gaussian N(0, 1) + 70% Gaussian N(0, 0.01)

这时 DnCNN-B 效果没有那么好了,作者表示是因为这时没有了 paired dataset

Realworld

Noise samples

总结

最后作者表示有一点 limitation,是这里处理的 noise 都假设了是 additive noise with zero mean。

参考

https://www.jianshu.com/p/9b134f0e57f5
https://mp.weixin.qq.com/s/Vb0sIXC7s0yMRfhZFeC-wg