有意思！这个pix2pix 3D版 竟比神笔马良更厉害

　　画龙点睛!神笔马良的故事相信大家都不陌生吧，但最近一个图像翻译技术竟然比神笔马良还要厉害!

　　随着GAN、pix2pix等技术的提出，图像翻译已然不是一件稀奇的事情。但实时且3D的图像翻译，却算的上是喜闻乐见了。有个博主Keijiro Takahashi不仅实时的完成了这个图像生成任务，而且还将它“贴”到了3D模型上，历时半个月的时间，“翻译”了一只生动可爱的“专属小猫咪”!

　　来，一起“吸猫”吗?

　　想吸什么样的猫就有什么样的猫，想让猫摆成什么姿势就可以让猫摆成什么姿势。当然咯，前提是，你要画得出来哈~

　　用Sketch Pad画一个猫

　　当然，这个对系统还是有一些要求的。除了Sketch Pad，你还需要装好Unity 2018.1以及计算着色器功能，包含DX11、 Metal和Vulkan。另外，因为作者没有准备模型，所以最好先下载一个训练好的edges2cats模型，最好先学会pix2pix-tensorflow训练模型。

　　如何“修炼成精”?

　　身姿魔性的猫咪也不是一天成精的，一开始它的状态其实是这样的混沌体。

　　博主一直在研究如何用Unity结合pix2pix来生成3D猫，突然有一天，它懂得了如何“做猫”。

　　虽然看上去还是有些诡异，但好歹也是成型了!然后就是魔性的“舞蹈动作”了!

　　不用怀疑，猫还是那坨猫，最后修炼成精!哈哈哈，来吸猫吗?

　　关于Pix2pix

　　Pix2pix 是一个不同图像效果的转换工具，基于GAN实现。Pix2pix由UC Berkeley的Phillip Isola等人提出，论文最早在2016年11月在arxiv上公开，并被CVPR 2017录取。

　　论文研究了条件对抗网络作为一种图像到图像转换问题的通用解决方案。这些网络不仅学习从输入图像到输出图像的映射，还学习了用于训练该映射的损失函数。这使得对传统上需要非常不同的损失公式的问题应用相同的通用方法成为可能。

　　研究人员证明了这种方法在从标签地图合成照片，从边缘地图重建对象，以及给黑白图像上色等任务中都是有效的。这项工作表明可以在不需要手工设计损失函数的情况下获得合理的结果。

　　Pix2pix最著名的应用是“画猫”，edges2cats便是基于pix2pix-tensorflow的一个实现，请看效果：

　　而今天所讲的Pix2Pix for Unity更是脑洞大开，在3D模型之上“画猫”，让生成的猫咪动了起来。

　　不得不说，程序员撸猫还真是方便呢!