Free-Form Image Inpainting with Gated Convolution

  • Gated Conv

主要解决什么问题

这篇文章承接之前 Partial Convolution 的思路,说把所有 pixel 一视同仁的 convolution 会生成一些扭曲的效果图,基于同样的思路,我们在 convolution 的时候加一个 mask 上去来 guide 它学习没有洞的部分的信息。

解决的思路

与 partial convolution 不同的是,partial convolution 中的 guiding mask 是通过 pooling 等操作得到的,而 gated convolution 让一个 convolution 支路来学这个 mask。通过这种方式来起到类似于 spatial attention 的效果。
实现上 Gated Convolution 就是用一个支路过 convolution,activation,batchnorm,然后再 sigmoid,并乘回另一支路经过一个 convolution 后的结果。

20190705232248.png