鹿晗都有AI粉了，为什么AI换脸剧的效果还这么渣？

“科技改变追星生活。”

克日，B站上泛起了多个鹿晗AI换脸的视频，因为换脸后的人脸轮廓、心情很是自然，加上鹿晗本人颜值出挑，许多网友自称成了鹿晗的AI粉。

B站截图

这些视频多由UP主制作并上传，时长约2-4分钟左右。

与此同时，日前同样因为AI换脸被推上热搜的古装网剧《三千鸦杀》迎来大了局。剧中被换脸的角色“青青”就没这么幸运了，不光没有AI粉，自开播以来就因“技术太差”被网民“群嘲”是车祸现场，“五分钱换脸”“画面有点诡异”“一小我私家毁了整部剧”等评论充斥在弹幕和微博评论中。

《三千鸦杀》中的AI换脸效果出现

片方换脸的原因是，剧中“青青”一角的饰演者刘露因大闹公开场合被拘留，如今替代刘露饰演青青一角的演员是张鼎鼎。但出现出的效果差强人意，角色换脸后的五官显着大于凡人，心情生硬，脸部边缘还泛起了模糊、扭曲的情况。

“片方想要挽回‘劣迹艺人’造成的损失可以明白，可是处置惩罚方式过于低劣。如果选择AI换脸，至少也要到达之前B站up主‘换脸哥’混剪的效果，效果出现出来的是美图秀秀的水平，面部扭曲、心情生硬、脖子和头颜色完全分散。”在影视行业事情6年的陈倾对燃财经表现。

AI换脸并不是首次应用在国产影视剧中，2019年播出的《封神演义》《庆幸时代》《长安十二时辰》以及刚刚完结的《时光与你都很甜》中，都使用了该技术，但效果不尽如人意。

简朴来说，这是一种先通过视频/图片收罗一位演员的面部心情，再通过转换编码给另一位演员“换脸”的技术。此前这项技术进入民众视野，是2019年B站up主“换脸哥”将94版《射雕英雄传》中朱茵的脸替换成杨幂，以及陌陌旗下的ZAO App在朋侪圈掀起的“换脸”风潮。

多位业内人士对燃财经表现，《三千鸦杀》中的换脸效果简直不太理想，但背后不是只有技术原因这么简朴。这次影视剧中被“群嘲”的AI换脸操作与ZAO相比，为何效果不佳？AI换脸成本如何？自娱自乐效果尚可，一商用就“露怯”，这项技术是否真的有应用市场？

要点速览：

被群嘲的AI换脸术比不外ZAO？

AI换脸技术最早泛起在2017年，也被叫做“深度伪造技术”(DeepFake)，简朴来说，就是通过人工智能深度学习技术将视频中泛起的人脸替换成另一张脸。这一技术的鼻祖是一位名叫“DeepFake”的开发者。同年，他将这项技术开源，他的名字也就成了AI换脸技术的统称。

智能互动视频播放器技术平台极链科技Video++团结首创人董慧智告诉燃财经，DeepFake这套算法的弱点就在于，脸部边缘的处置惩罚，尤其是在较为夸张的脸部心情处置惩罚上，还没有做过深度处置惩罚，因此每家公司在实际使用中都要自己做一些优化处置惩罚。

他从《三千鸦杀》的换脸效果判断，“背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化，只是优化得不是特别好，在心情和行动，尤其是脸部边缘处置惩罚上还是存在一些问题，因此从用户角度来看效果确实比力僵硬”。

《三千鸦杀》因角色AI换脸在微博被“群嘲”

此次AI换脸的效果，也被众多用户拿来与曾经火爆一时的换脸工具ZAO举行对比。

2019年8月30日，“仅需一张照片，出演天下好戏”的ZAO App上线，它也是基于DeepFake算法演变出的产物之一。

ZAO App的功效先容

在瑞莱智慧RealAI产物卖力人唐家渝看来，“其实ZAO的大部门视频脸部边缘处置惩罚得也不是很好，预计是它的建模历程学习到的特征也不是特别好。”

ZAO的效果虽然看起来略好一些，但也不代表技术一定更优，因为两者使用场景差别，难度差别。

“AI技术的焦点在于训练的历程，训练后的模型应用于同一领域，许多算法的准确度可以靠近100%，这是AI有优势的地方；但缺点是与人类相比，AI的遐想能力较弱，没有训练过的内容险些不会。”董慧智说。

众所周知，ZAO里可供用户换脸的影视剧片段是特定场景，也就是说，技术难度相对较小。董慧智分析，ZAO背后需要训练的时间比力长，需要选定视频库中的片段，对其中男女主角的脸部举行长时间的学习和训练，不停调参，经由线下预处置惩罚再上线，用户的使用效果自然不错。

而影视剧中的暂时换脸难度更大，需要在短时间内，对一个未经训练的影视剧举行AI批量换脸。董慧智对燃财经表现，AI分训练和推理两个阶段，前期训练的历程很长，可能要一到两周甚至几个月，而一次推理历程也就是几百毫秒。因此一般情况下，提供技术的AI公司受限于成本和时间要求，只能用有限的样原来训练模型，推理时却面临的是海量多样化的视频，效果不是特别理想。

在董慧智看来，两者难度的差异相当于，ZAO是开卷考试，所有题目都已经做过，烂熟于胸；而影视剧中的AI换脸属于闭卷考，做的题目都是没学过的，只是使用原来学过的一些知识和履历去重做一遍，效果差距自然很大。

AI换脸的真实水平与成本难题

据唐家渝先容，影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系。也就是说，如果接纳比力前沿的算法，上述两个条件较好的情况下，数据收罗充实，最终建模的效果会比力好，肉眼基本难以分辨，除非场景的庞大度较高，好比脸部被一片树叶遮挡，这就需要后期的人工修复了。

“我看剧(《三千鸦杀》)中有的片段，人物都是相对正面的角度，光线看起来也还不错，在这样的情况下，换脸面部依旧没有贴合，说明技术确实一般。”唐家渝说。

那我们看到的B站up主“换脸哥”以及“AI鹿晗”的作品，另有许多好莱坞作品为何能够以假乱真呢？

“有点炫技的意思。”董慧智认为B站up主“换脸哥”的作品（将94版《射雕英雄传》中朱茵的脸替换成杨幂），应该是经由后期人工处置惩罚的，效仿好莱坞一些特效软件，人工干预、时间长、造价高。

94版《射雕英雄传》中朱茵的脸替换成杨幂

那么，AI公司如果接到影视剧换脸的任务后举行重新训练和应用是否可以？谜底是可以，但要保证训练的速度足够快。“这样做很不经济，相当于每造一幢小屋子，就要请国际顶尖设计师来设计一遍，造价太高了。”董慧智增补道。

在好莱坞影戏史上，“换脸”技术早就被广泛应用于影视剧中，甚至缔造出一个虚拟的真人出来，固然造价也是高得惊人。

最具代表性的要数2015年的《速度与激情7》，直接让去世的主演保罗·沃克“复生”了。据此前外媒报道，只用CGI（盘算机合成图像）技术一项，就将这部影戏的制作成本从原计划的2亿美金提升至了2.5亿美金。

2019年上映的影戏《双子杀手》更是将CGI技术向前推了一步，缔造出一个减龄至23岁的威尔·史女士，与真人版51岁的威尔·史女士举行近身屠杀。

这不是单纯的对男主角威尔·史女士举行面部“减龄”，而是从肌肤、骨骼、眼睛、牙齿光泽各个方面举行再造。

《双子杀手》中真假威尔·史女士近身屠杀的场景

要实现这样的效果，首先需要数据准备，通过传感器收集演员差别的脸部姿态、角度、心情以及光照的脸部图像，其次需要举行专门的数据处置惩罚，通过电脑举行数字维度上的转换，最后依照盘算机系统对人脸心情变化的特征点，在虚拟形象上重构。固然，在制作部门建模的时候参考了大量威尔·史女士年轻时拍过的影戏画面。

这一场真假威尔·史女士的近身屠杀，只有4分钟的戏份，却需要后期团队花九个月的时间调整和完善，难度之大、成本之高可想而知。听说光是这个CGI人物的制作用度就是威尔·史女士片酬的2倍。

在成本方面，此前有媒体报道，现在市场上AI换脸的价钱或许是1.5万元/分钟，手动换脸的价钱在十几万元/分钟，即即是简朴的内容，最低市场报价也要在5-6万元/分钟。

唐家渝从差别角度拆分AI换脸的成本，一方面是算力的成本，需要有高性能、一定数量的GPU，硬件的价钱比力高；另一方面是拍摄、收集种种照片以及建模的成本；此外，事后处置惩罚一些遮挡情况也需要一定的人工成本。

手动P图换脸的成本自然更高。“如果我现在是影视制作方，演员出了问题，我肯定不会找手动换脸。1秒的画面一般有23-30帧，每一帧都要手动换，成本太高了。”唐家渝表现。

也就是说，现在海内影视行业一旦遇到需要替换演员的突发情况，AI换脸相比手动换脸，是成本可控的挽救方式。

AI换脸商业化前景几何？

《三千鸦杀》中的AI换脸效果出现

据娱乐资本论矩阵号河豚影视档案报道，《三千鸦杀》背后的AI换脸技术提供方，是一家受到资本市场认可，估值已达几十亿元的公司，但并不主营影视类项目，因此也不擅长做影视剧中的AI换脸。

“很少有公司单做AI换脸这一项，盈利很难，因为研发成本没有其他的落地项目来摊销。”董慧智告诉燃财经，“拖后腿”的因素，除了成本、技术成熟度之外，另有供需双方对AI换脸技术的明白、预期相差较大。

“不光用户，包罗影视剧的制作方、导演，对AI换脸技术都没有那么相识，他们因为以为‘既然ZAO都做得那么好了’，而对影视剧换脸的期望值过高。”他认为这也是制约行业生长的很重要的因素。

但总得来说，董慧智先容，AI换脸技术在行业中主要有两大商业化模式。

一种是向大的视频平台和制作方输出技术，类似于定制开发，收取的是授权费+维护费，这种方式成本高，订价也高，一般都是百万量级；另一种是按单次需求的事情量（要换几多张脸，一共几多秒）收费，一般是影视剧制作方提出换脸需求，技术公司去实现。

详细到极链科技Video++，董慧智透露，“AI换脸”只是公司数十款产物中的一个，如此一来，80%的研发成本是共用的，边际成本也就更低。

而想要扩大商业化规模，隐私问题是一个绕不开的话题。先前红极一时的ZAO，就是用户因上传的照片无法撤掉而担忧信息泄露、遭遇诈骗等问题，纷纷弃用。

与ZAO类似，极链科技Video++的商业化偏向之一是面向C端用户的技术解决方案，即让用户上传自己照片，和自己的idol演对手戏。董慧智对燃财经透露，这一方面可以与影视剧的播放平台直接互助，也可以链接大平台的粉丝社区，未来有一定的商业价值，固然，也会吸取ZAO的前车之鉴。“ZAO最大的问题是把脸部图像生存下来，才有了隐私侵权问题，我们会注意制止这个问题。”

除此之外，极链科技Video++另有两个商业化偏向是，用人脸做emoji心情以及对短视频/直播中人物的再创作。

后者应用需求在B站陪同同人创作而崛起，一般而言，是将短视频/直播中的人物替换成动漫脸、GIF心情包等。这一偏向还在2018年的海内掀起了一股“虚拟主播”的热潮，因为媒体、教育、医疗、娱乐、客服等多个领域和场景，无一不适用，于是搜狗、科大讯飞、斗鱼等大公司都进场试水。

此次疫情期间应用的AI主播

唐家渝提供了另一个商用偏向。

众所周知，DeepFake的开源降低了AI换脸的技术门槛，但与之相应的黑产也快速生长，种种换脸情色视频和软件教程层出不穷，在海内已经形成了一个上游提供软件及技术、中游提供视频、照片定制、下游售卖制品视频，甚至有的商家做的是全工业链的生意。

越来越多的人开始抵制AI换脸，其风险在于经由AI换脸的合成照片、合成视频是人类仅凭肉眼无法识此外，部门甚至无法通过单一技术模型判别，很容易被看成真实信息举行再次流传。因为除了DeepFake，最常使用的AI换脸算法另有FaceSwap和Face2Face，差别算法生成的效果千差万别。

那么“反黑”，也就是通过使用判别器算法来打假，就是个不错的商业化偏向。外洋最负盛名的是一家总部位于阿姆斯特丹的创业公司Deeptrace，在海内，RealAI是最早涉及这一领域的公司，去年底正式上线了针对Deepfake的深度伪造视频检测工具。现在，RealAI已经在金融行业做出反欺诈的解决方案，主要应用于信贷风控领域。

总体来说，影视行业是现在AI换脸技术更容易落地的场景，但眼下需求有限。随着机械学习算法的快速学习与进化，AI换脸相关从业者要做的是，在烧钱的影戏特效和人人取之可用的入门级App之间，寻找性价比和宁静性最高的商用领地。

*题图泉源于Bilibili Up主AI王子。应受访者要求，文中陈倾为假名。