从性别歧视到招聘不公，如何让AI公正待人？

算法是一面镜子，映射了人类社会许多固有的偏见。

2014年，亚马逊的工程师着手开发一款人工智能招聘软件，使用算法和数据分析来筛选候选人，以此制止人类招聘官身上特有的“情感用事”问题。事与愿违，这款软件虽制止了“情感用事”问题，却在“偏见”上犯下更大的错误——软件编写者将人类招聘官的筛选模式写入算法，现实世界中无意识的偏见也带进了机械。

随着智能技术的不停普及，算法做决议成为趋势。制止人类社会的偏见映射到算法世界中，是当下数字化生存中的重要命题。

此前，AI&Society专栏公布的《算法偏见：看不见的“裁决者”》试图剖析算法偏见所带来的问题，本文着重梳理当前针对算法偏见的一些解决方案。

在机械学习历程中，算法偏见会从三个环节中被渗透：数据集的组成缺乏代表性，工程师制定算法例则时、打标者处置惩罚非结构化素材，都有可能混入偏见。

在对500名机械学习领域工程师观察后得出结论：如今机械学习工程师面临的最大问题之一是他们知道出了一些问题，可是不知道详细是那里出了问题，也并不知道为什么会泛起问题。”前微软公司执行副总裁沈向洋指出。

由于算法偏见的不行知、不行查，让反偏见这项事情变得棘手。在现有应对体系下，无论是政策制度、技术突破还是创新型反制，都从差别的角度出发实验解决这个已经逾越技术的问题。

解决思路一：构建更公正的数据集

不公正的数据集是偏见的土壤——如果用于训练机械学习算法的数据集无法代表客观现实情况，那么这一算法的应用效果往往也带有对特定群体的歧视和偏见。因此，算法偏见最直接的解决思路就是将原本不平衡的数据集举行调整。

修正数据比例：使用更公正的数据源确保决议公正性。2018年6月，微软与专家互助修正和扩展了用于训练 Face API 的数据集。Face API 是微软 Azure 中的一个 API，它提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年事等所占的比例，将肤色较深的男性和女性之间的识别错误率降低 20 倍，女性的识别误差率降低 9 倍。也有公司实验通过构建全球社区的方式优化数据集。通过全球社区，大规模地把某个组织可能在寻找的任何信息搜集起来，并以这种广度和深度相联合的方式举行，这使得引入截然差别的数据来训练AI系统成为可能，以资助克服算法偏见等问题。

“大数据”与“小数据”联合：在数据量的基础上确保精度。数据集不应局限于粗放收集，而在于精准掌握。仅仅在数据的量上做文章往往不能带来越发公正的效果，因为大数据分析偏重相关性，导致在推导因果关系时容易泛起误差。引入小数据可以部门解决这个问题。小数据指聚焦于用户个体的数据形态，它更关注细节，重视差异，能更出现越发准确的数据，也制止推导因果关系时泛起误差。所以，将信息富厚的大数据与信息精准的小数据相联合可在一种水平上制止误差。

自主测试数据集：侦测数据集中偏见。麻省理工学院算机科学与人工智能实验室（简称MIT SCAIL）的科学家揭晓了一篇题为《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure（通过学习潜在结构提示并缓解算法偏见）》的论文，展示了DB-VEA（一种无监视式学习）可以通过重新采样来自动消除数据偏见的 AI 系统。该模型不仅学习面部特征（如肤色、头发），还学习诸如性别和年事等其它特征，所以分类准确率显着增加，且针对种族和性此外分类偏见显着下降。

由此可见，构建越发公正的数据集无疑是算法偏见基础性的解决方法之一，也是许多企业、学者努力的偏向，而且现在在这一领域简直有所突破。

解决思路二：提升“算法透明度”

只管算法模型由工程师编写而成，但许多时候，人类并不明确盘算机履历了怎样的历程才得出某一特定效果，这就是机械学习中的“算法黑箱”问题。因此，要求企业提高算法模型的透明度，从中找出偏见“病因”，就成为了当下解决“黑箱”逆境的途径之一。无论是通过政策、条款的“他律”，还是企业通过伦理“自律”还是技术探索，在反抗算法偏见时，都连续聚焦于打开“黑箱”。

自律：企业的伦理主张

在已往两年中，许多大型科技公司都公布了人工智能的应用原则，其中均涉及到偏见治理的部门，可以将这类原则视为科技公司态度的声明和自律的起点。微软、谷歌和IBM，均强调算法的透明性和公正性。值得说明的是，微软设立人工智能与道德尺度(AETHER)委员会来落实其原则，并计划未来推出的每一小我私家工智能产物都要经由人工智能道德伦理审查。

也有企业接纳委员会之外的机制。谷歌推出Model Cards功效也是对提升透明度的回应。Model Cards类似算法说明书，对接纳的算法举行解释，见告其优点和局限性，甚至在差别数据集中的运算效果。

他律：监视历程透明与效果正义

2018年5月25日正式生效的《欧盟一般数据掩护条例》（GDPR），2018年8月30日英国政府更新的《数据伦理框架》，要求算法需要具备一定的公然性、透明性与可解释性。2019年4月10日，美国国会两院议员提出《算法问责法案》，要求大型科技公司评估其自动决议系统带来的影响，并消除其中因种族、肤色、宗教、政治信仰、性别或其它特性差异而发生的偏见。

一些公益组织也因意识到算法偏见的危害性，资助企业建设机制保障算法公正。算法正义同盟（Algorithm Justice League）将企业应遵守的行为归纳综合和浓缩成了可以签署的协议，通过问责算法的设计、开发和部署者，在实践中改善现有算法，并检查企业提升结果。而这一手段简直为算法纠偏起到了敦促作用：其首创人Joy Buolamwini在评估IBM算法后将效果反馈，并在一天内收到了IBM回应称会解决这一问题。之后当Buolamwini重新评估该算法时，发现IBM的算法对于少数群体面部识此外准确率有了显着提升：识别深色男性的准确率从88%跃升至99.4%，深色女性的准确率从65.3%升至83.5%。

“算法透明”不是满分谜底？

然而，通过政策条例和伦理准则提升算法透明度，依然存在一些局限性。首先，要求算法具备可解释性与可能企业的利益发生强烈冲突。芝加哥大学数据科学与公共政策中心主任 Rayid Ghani认为，简朴地宣布一个模型的所有参数并不能提供对其事情机制的解释在某些情况下，透露太多关于算法事情原理的信息可能会让不怀美意的人攻击这个系统。2019年12月的一篇论文也指出，解释黑箱算法的两大技术LIME和SHAP的变体有可能遭到黑客入侵，这意味着“AI做出的解释可能被蓄意窜改，导致人们对模型及其给出的解释失去信任”。

第二，问责法案的焦点在于促成企业自查自纠。但这种自上而下的制度无疑为企业增加了巨额事情量，在一轮轮审查评估中，技术进度将受到掣肘，企业的创新力也会被影响。

解决思路三：技术创新反偏见

当偏见被隐藏在无数代码中时，工程师们想到用技术自己解决技术问题。这一途径并非是从偏见泉源入手，而是缔造性地使用技术手段侦测偏见、排除偏见。

单词嵌入解决搜索中的性别偏见：微软研究人员重新闻、网页数据中的文本，发现词汇之间在建设关联时体现出一些显着特征，例如“sassy（刁蛮）”、“knitting（编织）”这样的词更靠近女性，而“hero（英雄）”、“genius（天才）”更靠近男性。之所以会有这种现象，原因在于训练算法用的基准数据集——通常是来自新闻和网页的数据——自己，就存在着由语言习惯造成的“性别偏见”，算法也自然“继续”了人类对这些词汇明白的性别差异。微软提出了一个简朴易行的方案：在单词嵌入中，删除区分“他”和“她”的判断维度，用于降低“偏见的展示”。固然，这样“简朴粗暴”的方式只能运用在文本搜索领域，在更多实际应用场景下，人工智能的“黑箱”特性使性别或种族与更多更庞大的参数相勾连，因此很难通过直接删除来完成偏见的剔除。

通过差分测试（differential testing）袒露系统缺陷：哥伦比亚大学的研究者开发了一款名为DeepXplore的软件，它可以通过“利用”系统犯错，以袒露算法神经网络中的缺陷。DeepXplore使用了差分测试（differential testing），一种比力多个差别系统并检察它们对应输出差异的观点：DeepXplore以差别的方式看待事物，如果其他模型都对给定的输入做出一致的预测，而只有一个模型对此做出了差别的预测，那么这个模型就会被判断有一个毛病。这一研究为打开黑箱做出了重要的孝敬，因为它可以通过激活险些100%的神经网络，来曝光算法中可能泛起的无数个问题。

偏见检测工具：在2018年 9 月，谷歌推出了新工具 What-If，这是 TensorBoard 中用于检测偏见的工具。使用该工具，开发者可以通过交互式可视界面和反事实推理探究机械学习模型的特征重要性，找出误分类原因、确定决议界限，以及检测算法公正性等。同样，IBM也将其偏见检测工具AI Fairness 360 工具包开源，其中包罗凌驾 30 个公正性指标和 9 个偏差缓解算法，研究人员和开发者可将工具整合至自己的机械学习模型里，检测并淘汰可能发生的偏见和歧视。

技术自己被用于攻击偏见，是一种可操作性极强的方法，因为工程师们往往擅长于用技术解决实际问题。可是从现在的结果来看，大多技术突破还仅处于低级阶段，停留在检测偏见，消除偏见可能还待下一阶段努力。

写在最后：

现实社会中的偏见发生的原因盘根错节，致力于消除偏见的运动绵延不息，也尚未彻底将其消灭。眼下，偏见化身为数字影象，狡黠又隐蔽地藏身于每一次不经意的双击，每一个微小的决议，却能显著影响人们被看待的方式。

更公正的数据集，更实时的误差检测，更透明的算法历程……科技公司、科研机构、羁系部门以及第三方组织的协同努力对算法偏见宣战。这些举措未必彻底消除偏见，但能极大制止技术无限放大社会固有的偏见。

相比将算法偏见全然怪罪于技术，更重要的是意识到，技术作为一种工具，应用应有界限，它渗入日常生活的深度、决议被采取的水平，需审慎决议。

参考资料：

1.《沈向洋就职清华演讲全录：人类对AI如何做决议一无所知》AI前线https://mp.weixin.qq.com/s/sezAachD_dhB3wrDTTZ8ng

2.《算法偏见就怪数据集？MIT纠偏算法自动识别「弱势群体」 》机械之心

https://www.jiqizhixin.com/articles/2019-01-28-11

3.《Applause推出新AI解决方案 致力于解决算法偏见》网易智能 https://mp.weixin.qq.com/s/oG9GtlplwXrNkGnXqEZOWA

4.《“算法有偏见，比人强就行？”其实影响很广泛！》THU数据派

https://mp.weixin.qq.com/s/_ArUXZGT6_iJ_Nggrit8-A

5.《算法偏见侦探》 雷锋网AI 科技评论

https://www.leiphone.com/news/201812/b4FLYHLrD8wgLIa7.html

6.《沈向洋：微软研究院——求索不已，为全人类，打造卖力任的人工智能》 微软科技https://www.sohu.com/a/337918503_181341

7.《 DeepXplore：深度学习系统的自动化白盒测试》 AI前线

https://mp.weixin.qq.com/s/ZlVuVGW_XA_MTgBJhMmqXg

AI&Society是腾讯研究院推出的跨界讨论与行动平台。我们实验通过【AI&Society专栏】这一工具，梳理当下AI与社会的动向和议题，迎接思考者与体贴者，为后续讨论与行动打下基础。

--END--

我悦目吗？