杏鑫娱乐手机版登录链接_这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

  来源:量子位

  金磊发自凹非寺

  量子位报道公众号 QbitAI

  AI 画的简笔画能到什么水平?

  给一张美国演员 Rami Malek 的照片,效果是这样的。

  是不是和原图很逼近了?

  再来看下输入《老友记》合影的效果。

  虽然人物众多,但出来的简笔画效果,依旧还是能分清剧中的人物。

  如果毛发特别浓密的人物照,AI 还能 hold 得住吗?

  小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。

  再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。

  可以说是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。

  ……

  这些就是出自一个叫 ArtLine 的 AI 的作品。

  而且它在 Reddit 非常火爆,已经达到了 1100+ 的热度。

  如此惟妙惟肖的效果,你是不是认为又是 GAN 的功劳?

  错!

  ArtLine 完全没有用到 GAN:

  也正因如此,ArtLine 的效果真真儿的惊艳到了网友。

  那么,它是如何做到的呢?

  ArtLine 背后的三大“法宝”

  ArtLine 的作者十分爽快地分享了其背后的三大技术:

  Self-Attention

  Progressive Resizing

  Generator Loss

  接下来,一起逐一看下各个技术背后的细节内容。

  Self-Attention 部分引用的技术,出自两年前 GAN 之父 lan Goodfellow 等人提出的研究。

  等等,刚才不是还说“没用到 GAN”吗?

  作者对此的解释是:

  并没有起到太大作用。

  这项研究主要是在 GAN 生成中加入了注意力机制,同时将 SNgan 的思想引入到生成器当中。

  所要解决的是传统 GAN 自身存在的一些问题,例如:

  使用小的卷积核很难发现图像中的依赖关系

  使用大的卷积核就会丧失卷积网络参数与计算的效率

  研究中核心的自注意力机制如下图所示。

  其中,f(x),g(x)和h(x)都是普通的 1×1 卷积,差别只在于输出通道大小不同。

  而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过 softmax 归一化,得到一个 Attention Map。

  得到 Attention Map 之后,和h(x)逐像素点相乘,得到自适应的注意力 feature maps。

  从结果上来看,引入自注意力机制的效果,确实在 FID 和 IS 两个性能指标下,得到了较好的效果。

  ArtLine 涉及到的第二个技术灵感,来自英伟达在 2018 年的一项研究。

  这项研究主要提出了一种新的训练对抗神经网络的方法。

  核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。

  这种方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。

  ArtLine 所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在 2016 年提出的研究。

  这项研究主要解决了实现的风格转换,比较费时的问题。

  风格转换部分主要用了上面的网络模型,这个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。

  其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。

  这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到 3 个数量级。

  关于作者

  ArtLine 的项目作者叫做 VijishMadhavan。

  他在 GitHub 中坦言自己并非程序员出身,也道出了 ArtLine 目前存在的一些缺陷,例如处理像素低于 500px 的图像时,效果并不理想等。

  现在,ArtLine 可以在线玩了!

  Colab 链接:

  https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine (Try_it_on_Colab) .ipynb.ipynb)

  https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

  GitHub 项目地址:

  https://github.com/vijishmadhavan/ArtLine

  本文系网易新闻·网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

共有 0 条评论

Top