Pix2Pix提出了一种图图转换问题的通用框架,通过结合CGAN(conditional GAN, 条件式生成对抗网路,实现源域到目标域的图像翻译
1、Pixel2Piexl原理

1.1 网络结构

自动图图转换任务被定义为:在给定充足的数据下,从一种场景转换到另一种场景。从功能实现上来看,网络需要学会“根据像素预测像素”(predict pixels from pixels)。

CNNs的研究已经给图图转换问题提供了一种简便的思路,比如设计一个编码解码网络AE,AE的输入是白天的图像,AE的期望输出是黑夜的图像。那么可以使用MSE损失,来最小化网络输出的黑夜图像和真实黑夜图像之间的差异,实现白天到黑夜的图图转换。

然而,CNN需要我们去设计特定的损失函数,比如使用欧氏距离会导致预测的图像出现模糊。所以,需要去设计一种网络,这种网络不需要精心选择损失函数。因此作者设计出了下面的Pix2Pix网络:

Pix2Pix和原始GAN的想法很类似,分生成器G和判别器D讨论:
(1)生成器G的目的是“fool”判别器,也就是希望判别器把自己伪造的图片当作是真的。生成器的输入是x,输出就是其伪造图片G(x);
(2)判别器D的目的是正确的区分真实样本和伪造样本。