“黄暴”视频看出心理阴影，内容审核师能被AI拯救吗？

大数据文摘出品

作者：刘俊寰

视频时代正在到来。

本周公布的《2019抖音数据陈诉》指出，抖音日活跃用户数已突破4亿；而在全球规模内，凭据YouTube在2019年宣布的数据，其日活跃用户数已经突破了19亿。

大量视频内容涌现的同时，暴力、色情内容也随之进入互联网，成为用户视频浏览中的“定时炸弹”。

在这个AI赋能一切的时代，人工智能似乎正在视频内容的审核中大展拳脚。

2018年，Facebook推出DeepText，使用深层神经网络架构明白内容；而YouTube早就推出了Content ID，监测并删除涉及色情和暴力等违规视频，多年来在该技术上花费了凌驾1亿美元。甚至不少媒体都预言，AI将凭借着其对海量数据的组织能力，不久后会取代人工审核。

但事实真的如此吗？

克日，知名外洋科技媒体TheVerge到访谷歌位于美国奥斯汀的人工内容审核师团队，报道了团队成员因为大量审核暴力内容遭受的恐怖精神创伤。

Youtube的视频审核决不是一项简朴的事情。

现在，全球共有约5000万YouTube独立创作者，每分钟上传的视频时长高达500小时，这给视频审核师们带来了极大的事情压力。

谷歌位于奥斯丁的审核师总数现在凌驾百人，他们主要卖力审核具有暴力色情等极端视频，同时，审核团队还配备有数十名来自中东的低薪移民举行事情上的协助。

为了保证效率，奥斯汀的内容审核团队每人天天必须寓目5小时以上的暴力色情视频，审核人员时薪为18.50美元，年薪约37,000美元，但近两年没有加薪。YouTube首席执行官苏珊·沃西基（Susan Wojcicki）向媒体透露，谷歌去年曾答应将内容审核师每人天天的事情量淘汰到4个小时，但至今仍未被执行。

由于长时间袒露在极端视频之下，谷歌团队的审核师们被曝遭受着严重的心理创伤。只管谷歌为审核师们提供了一流的医疗服务和福利，可是不少审核师还是会被检测出罹患PTSD、恒久焦虑等精神问题。

注：PTSD，全称为创伤后应激障碍，是指个体履历、眼见或遭遇到一个或多个涉及自身或他人的实际死亡，或受到死亡的威胁，或严重的受伤，或躯体完整性受到威胁后，所导致的个体延迟泛起和连续存在的精神障碍。

视频审核师天天都在看什么？

在文摘菌的印象中，审核师的事情就是看看用户上传到网站的视频，或许就像是…天天刷刷抖音就能轻松挣钱一样，可以说是求之不得的事情了。

但不管是YouTube还是海内，视频审核都没有文摘菌想象的这么优美。

在知乎上，相关话题的浏览量已经到达了167951次，其中网友@white举例说道，“ISIS杀戮人质的视频让我狼狈万状，非洲人民凶残的一面让我感应畏惧，美国黑人区发生的让我感应惊骇，美国天黑时散发出恐怖的色彩！可能人类的本质就是杀戮，被割喉的人疯狂的挣扎，暗红色的血液徐徐慢流动出来，日本自杀深林中令人作呕的尸体……”

知乎话题链接：

https://www.zhihu.com/question/24738486

同样，作为YouTube的内容审核师，他们的事情并没有轻松到哪去。

YouTube的内容审核师Peter告诉TheVerge，他天天卖力的就是极端暴力（violent extremism）的视频审核，这可以说是整个审核事情中最致郁的一个板块，正如上文提到谷歌为审核团队制定了严格的事情计划，他必须看足够量的暴力色情视频。

“天天你都市看到有人砍人，或者射杀亲友，”Peter说，“你会以为，这个世界很疯狂，这会让你感应不舒服，甚至不想继续活下去。我们到底为什么要这样看待相互呢？”

在已往一年里，Peter和同事们的生活都受到了极大的影响。一位同事患上了神经衰弱，另有一位同事因事情中的焦虑和抑郁而痛苦不堪，饮食和作息逐渐紊乱，最后患上了急性维生素缺乏症，不得不住院接受治疗。

不止是Peter和同事们，另一位视频审核师Daisy曾卖力Google视频中的恐怖主义和儿童荼毒内容的审核，从事这项事情后，她曾一度难以和孩子交流互动。在接受精神科专家诊断后，她被确诊患有PTSD，至今仍在接受治疗。

凭据报道，审核师在申请事情的时候通常并不相识极端视频会对身心造成怎样的伤害，而就YouTube的审核师所透露的内容来看，谷歌向应聘者所说明的审核数量和事情要求往往是过低的。

虽然谷歌为全职审核师制定了相关的医疗保健尺度，他们可以休假数月，以解决严重影响事情与生活的心理问题，但这只是谷歌内部被报道的情况，全球规模内另有更多未被报道的内容审核师遭受了心理创伤后被公司无情忽视。

AI能拯救视频审核师吗？

AI到场视频审核并非近几年才有，最早2000年左右，就有公司在做这方面的实验。但那时，视频审核需要人为设定特征和规则，好比黄颜色皮肤面积漫衍情况。一直到深度学习获得生长后，视频审核才终于变得“灵活”了。

可是，在视频审核上，现在业内普遍接纳的仍然是“人机联合”的方式，而且人工在其中占据着重要比例。

YouTube的算法工程师向文摘菌透露，现在YouTube上大部门视频仍需要经由人工审核，被审核视频一部门是AI检测出来，一部门是用户举报的，但最终都需要专业的审核师把关决议是否违规。

凭据爱奇艺算法工程师Leo的先容，现在业内有以下两种比力常见的“人机配合”审核方式：

一种AI将相对确定的视频举行分类，然后对部门用户做出推荐，视察用户反映，其中高热视频会人工率先审核；

另一种是AI将视频标志为“good”或“bad”，当审核师遇到标注有“bad”视频时再细致地审核，这也提高了审核效率。

爱奇艺现在接纳的是第二种模式。视频会先经由机审预判，然后再举行人工一审和复审，其中机审效果主要作为参考辅助人工，另外另有视频清查机制。

针对AI取代人工审核的说法，Leo认为还为时过早，虽然AI在客观视频的审核上做得足够好，但一旦涉及与语境语义相关的主观内容，就捉襟见肘了。

AI审核存在两个技术难点，一个是算法准确率问题。在业内有句话，“脱离数据集来谈准确率都是耍流氓”，这就是说，用数据集训练出来的AI模型并不都能匹配实际行为，还存在用户行为偏差等诸多影响因素，纵然AI审核的准确率到达了99%，思量到用户上传的视频量，剩下1%的累计量也是惊人的。

而一旦泛起疏漏，视频网站将蒙受庞大的风险。

另一个难关就是对内容的主观判断。简朴来说，不是所有露骨的内容都是色情，也不是所有色情视频都有裸露，再加上视频内容中涉及到的文字、语音等多方面情景混杂，对人来说较容易判断，但对机械而言需要多个算法叠加。

Leo告诉我们，好比在处置惩罚音频内容时，一方面需要使用ASR转化成文本，另一方面需要对声音分类，这就包罗一些无意义的音频，好比娇喘声。如果画面中还泛起了文字，需要借助OCR把文字从视频中抠出来，但最终都要使用NLP，也就是文本明白。

因此，人工审核在整个审核领域仍然是至关重要的一环。爱奇艺设置的专业审核团队主要卖力甄别用户上传视频的内容，将不切合国家执法法例、平台尺度的内容筛除。

界说敏感内容？AI：臣妾做不到啊

对AI审核而言，除去上述的准确率和内容主观判断对AI而言仍然无解之外，对敏感内容的界定自己尚未清晰也是一个不行忽视的重要原因。

在海内，违规内容一般统一由广电总局统一规范，视频网站在规则界定上显得被动，他们需要凭据广电总局指定的尺度举行严格的自审，甚至有些公司会建立专门的法务咨询岗位，专门研究广电总局的政策。

而在全球规模内，更多的视频网站负担着自行界说敏感内容的职责。但也正因为有更大的主动性，他们就负担更大的责任。想要全球规模内统一的审核尺度无疑是一项很是棘手的事情，如果没有思量到当地文化因素，严重情况下视频网站会陷入与政府和民众的苦战中。

好比，2018年7月，印尼政府克制了盛行的短音乐视频制作应用TikTok，也就是抖音国际版。不久前，美国军队出于宁静思量，也明确划定了禁用TikTok。

凭据印尼媒体的报道，印尼政府克制TikTok是因为该应用法式包罗了太多负面视频，印亚民众情绪也普遍阻挡青少年使用TikTok，因为有些视频会对青少年造成不良影响。其中一个视频是这样的：开始是一段舞蹈，随后镜头蓦地切到一具尸体，有关部门观察后发现这具尸体是拍摄者的亲戚。

除了上述涉及死亡的视频，世界规模内对以下内容的视频都格外审慎：

煽动暴力的宗教愤恨言论

假新闻和为政治目的而流传

针对小我私家/组织的离间性语言

除了涉及到“视频暴力”的内容外，对“视频色情”的界定同样具有高度的主观性和任意性。之前Instagram曾因允许“男性裸露乳头”但克制“女性裸露乳头”，引起不少女性在该软件上举行抗议。

和Instagram相比，某些社交网站的规则显得“宽松”了许多，他们允许在某些特殊情况下的裸体行为。

以不久前更新了内容规则的Tumblr为例，从中可以看到一些有趣的说明：“被克制的内容包罗人类生殖器的照片和视频、女性展示乳头，以及任何涉及性行为的前言，包罗插图。破例情况包罗裸体古典雕像和以裸体为特征的政治抗议行为。新的指导目标清除了文本，色情仍然是允许的。只要性行为没有被显着描绘 出来，以裸体为特征的插图和艺术仍然是允许的，母乳喂养和产后照片同理。”

在这里也可以对比看一下Facebook、Reddit等在内的全球流量较大的四家社交平台关于“色情”和“裸露”的相关规则：

可以看出，基于差别的价值观、服务的用户群体和他们的文化敏感性，就必须为他们提供专属的规则和破例。也就是说，由于内容具有的主观性，想要一劳永逸地建立全球性的内容尺度是很是难题是难以实现的。

在内容审核事情中，AI醒目啥？

只管有诸多限制和不足，但仍不故障AI审核已是局势所趋。

现在AI在内容审核方面除了能评估和检测垃圾邮件、辱骂留言等极端文本内容外，在某些社交平台上，AI还能拦截违规图像，甚至可以针对以情境明白为基础的骚扰和欺凌举行排查。

可是，在使用AI举行内容审核还要注意以下三个方面：

对内容的审核需要文化意识和对相关社区“尺度”的语境明白。只管AI可以执行预调治，资助淘汰人工审核的事情量，但人工到场仍是不行缺少的环节。

AI面临着民众不信任，特别是可能存在无意识的人类或技术偏见。此外，算法可能对违规内容起不到检测作用。针对此，一方面要定期分析并调整算法，另一方面，利益相关者应保证AI的透明度。

由于花样多样性和内容庞大度，用户生成的视频内容越来越难以分析，它们需要被解释为一个整体，以此来判定是否违规。为了更好地相识用户行为，实时更新违规有害内容的界说，平台和服务提供商之间最好能够共享数据集，这有利于利益相关者获得更好的文化意识和语境明白。

在理想情况下，如果AI能完全做到上述几点，就行了吗？

让我们再次回到内容审核上，当AI审核实现了最大水平地优化，更大幅度地提升了审核师的事情效率，审核师团队的心理问题似乎仍然悬而未决。

在采访历程中文摘菌也相识到，除了视频审核团队，为了设计出越发准确可用的审核算法，算法工程师们日常也需要寓目大量的暴力色情视频，也因此不行制止的受到同样的影响。技术的进步只管无人可挡，但被媒体和公共寄予厚望的AI，其发展也注定承载着小我私家牺牲。

作为技术洪流中的寓目者，我们没有权利也没有能力去改变审核师或者算法工程师的事情，但至少我们可以给予这个群体更多的关注。就像Daisy所说：“我们需要更多的人到场到这项事情中，但我们更需要改变整个系统和事情结构，去支持这些人，为他们提供处置惩罚问题的工具和资源，否则问题只会变得更糟。”

相关报道：

https://www.theverge.com/2019/12/16/21021005/google-youtube-moderators-ptsd-accenture-violent-disturbing-content-interviews-video