鱼羊发自凹非寺

　　量子位报道公众号 QbitAI

　　相关文章：大谷新作！AI 还原「王之霸气」朱元璋，杜甫倾情献唱奥特曼主题曲

　　霍格沃茨的同学们都知道，想要进入格兰芬多休息室，得先过胖夫人这一关。

　　所以，会说话的照片/画像它科学吗？

　　其实，在 AI 时代的麻瓜世界里，这早就不算事儿了。

　　不信，你看看这个激情演唱迪迦奥特曼主题曲《奇迹再现》的杜甫：

　　

　　△网友：0202 年，杜甫越来越忙了

　　还有这个目光如炬，侃侃而谈的明太祖朱元璋：

　　以及从大秦帝国穿越而来的这位大哥：

　　谁见了不得喊一句：鹅妹子嘤。

　　想必你已经猜到了，这样的「魔法」依然是由 AI 带来，涉及的技术包括图像生成、运动估计等等。

　　而打造这些作品的，就是那位给 100 年前的北平城上色的独立艺术家、微博博主@大谷 Spitzer。

　　就仅仅在 8 月份月，@大谷 Spitzer 在微博上先后被@人民日报 、@央视新闻、@头条新闻等诸多媒体和微博大号“点名”，粗略统计微博上关于他的视频总播放量达数千万。

　　用一个时下热门的词来说，@大谷 Spitzer 这位原本将自己定位为“游戏”的博主，凭借 AI 还原技术一夜之间在微博“出圈”了。

　　背后的 AI 黑科技

　　那么，AI 具体是怎么让这些艺术作品动起来的呢？

　　大谷介绍，基于 YouTube 大神 Denis Shiryaev 的教程，他这次用到的 AI 项目分别是（链接见文末）：

• Artbreeder

• StyleGAN-Art

• Realistic-Neural-Talking-Head-Models

• First-Order-Model（加文章超链）

• DAIN

• Topaz Labs

　　Artbreeder

　　Artbreeder 是一个基于生成对抗网络（GAN）技术的在线图像生成网站。

　　在 Artbreeder 上，用户可以通过调整滑块，来创建不同风格的人像、动画。

　　StyleGAN-Art

　　StyleGAN 是英伟达在 2018 年发布的人脸生成模型，支持 2014×1024 的高清大图生成。

　　并在 2019 年升级成为了效果更加逼真、无暇的 StyleGAN2。

　　StyleGAN-Art 则是经过了特殊调教的 StyleGAN，专注于肖像画的生成。效果是酱婶的：

　　Realistic-Neural-Talking-Head-Models

　　这项研究来自莫斯科三星 AI 中心和斯科尔科沃科学技术研究所。

　　只需要少量图像样本，就能学习到高度逼真和个性化的目标人物面部模型。甚至对于肖像画也一样适用。

　　First-Order-Model

　　一张名人照片，加上随便一段视频，就能让照片里的人物分分钟动起来。

　　比如输入一段川普的视频，原本静止在画面中的史塔克们，也忍不住跟着动了起来。

　　这就是来自意大利特伦托大学的「First-Order-Model」。

　　DAIN

　　DAIN 是上海交通大学开发的插帧算法，能把 30fps 的视频一口气插帧到 480fps，让视频丝滑流畅，毫无卡顿。

　　

　　△看琦玉老师这丝滑的披风

　　并且，这项技术不仅适用于真实拍摄的视频，电影、定格动画、动漫都能搞定。

　　Topaz Labs

　　Topaz Labs 的能力，是基于机器学习技术和 trimap 技术，增加照片的分辨率，补充像素细节。

　　提供添加蒙版，AI 色彩、细节增强，AI 降噪，无损失放大等功能。

　　不过，这是一系列收费软件。

　　当然，除了这些 AI 黑科技，作者的耐心调教也是不可或缺的。

　　大谷本人也在接受新京报采访时坦承，制作过程中，翻车的例子也不少。

　　没有点亮 AI 技能点怎么办？

　　最后的最后，还有一个问题：

　　如果没有点亮 AI 技能点，就不能亲自体验这样的「魔法时刻」了吗？

　　或许，你可以期待一下 Adobe 的产品。

　　在去年的 Adobe MAX 大会上，Adobe 露了这么一手：加入音轨，画中人就能一键对口型。

　　哪怕只是简笔画，也能被赋予自然的动态。

　　Adobe 表示，在不远的将来，这样的功能可能会出现在 Adobe 全家桶里面，作为新增功能或新产品出现。

　　介时，穿越到哈利波特的世界还不是分分钟的事？（狗头）

　　传送门

　　完整视频：

　　https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment

　　https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

　　Artbreeder：

　　https://www.artbreeder.com/

　　StyleGAN-Art：

　　https://github.com/ak9250/stylegan-art

　　Realistic-Neural-Talking-Head-Models：

　　https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models

　　https://arxiv.org/abs/1905.08233

　　First-Order-Model：

　　https://github.com/AliaksandrSiarohin/first-order-model

　　https://arxiv.org/abs/2003.00196

　　DAIN：

　　https://github.com/baowenbo/DAIN

　　https://sites.google.com/view/wenbobao/dain