欧盟人工智能宁静和责任陈诉

作者 |乔婷婷 腾讯研究院助理研究员

2020年2月19日，欧盟委员会公布《关于人工智能、物联网、机械人对宁静和责任的影响的陈诉》（Report on the safety and liability implications of Artificial Intelligence, the Internet of Things and robotics），该陈诉先容了当前的欧盟产物宁静制度，并探讨了如何对其举行革新，以应对人工智能（AI）、物联网（IoT）和机械人技术领域的不停创新生长。全文包罗三大部门，首先概述了现有的宁静和责任框架，人工智能、物联网和机械人技术的特征以及缔造的机缘；其次论述了人工智能、物联网和机械人技术对宁静框架的挑战及应对；最后论述了其对责任框架的挑战及应对。

人工智能、物联网和机械人技术将为社会缔造新的机缘和价值。欧盟委员会明白这些新兴数字技术的重要性和潜力，以及在上述领域大量投资的须要性，进而致力于使欧洲获得人工智能，物联网和机械人技术的世界先进职位。为了实现这一目的，需要一个清晰，可预测的执法框架来应对技术挑战。本文将简要先容人工智能、物联网和机械人技术对宁静和责任框架的挑战及应对方式。

一、概述

（一）现有的宁静和责任框架

宁静和责任框架旨在保障所有产物和服务的宁静、可靠、同步运行，并救援可能泛起的损失。欧盟拥有健全的宁静和产物责任羁系框架，以及完善的宁静尺度体系，在保障公民在单一市场上的福祉的同时，勉励创新和技术应用。随着人工智能、物联网和机械人技术正在改变许多产物和服务的特性，此时，建设越发明确清晰的宁静和责任框架势在必行，以期掩护消费者和企业的正当权益。

（二）人工智能、物联网和机械人技术的特征

人工智能、物联网和机械人技术具有毗连性、自主性、庞大性和数据依赖性。它们险些不需要人工管控就能执行任务。配备人工智能的系统还可以通过从履历中学习来改善自己的性能。此外，随着投放市场的变化，它们还越发具有开放性。同时，由于涉及大量数据，导致算法依赖（即随着算法技术的强大，导致人类越来越依赖算法，以算法的效果为指导尺度）以及AI决议的不透明性，使得对AI产物行为更难预测，对造成损坏的潜在原因更难排查。

（三）人工智能、物联网和机械人技术缔造的机缘

人工智能、物联网和机械人技术为人类社会缔造了许多机缘。例如可以增加用户对新兴技术的信任和社会认可，改善产物、流程和商业模式以及资助欧洲制造商提高生产效率。可以提高产物的可追溯性，并通过提高产物的宁静性从而使产物降低某些风险。除此之外，人工智能另有望资助人类发现缔造，并资助解决一些世界重大挑战：包罗治疗慢性疾病、预测疾病发作、淘汰交通事故死亡率、应对气候变化或预测网络宁静威胁等。此外，新技术可以提高产物的可追溯性，并通过提高产物的宁静性从而使产物降低某些风险。

二、人工智能、物联网和机械人技术对现有宁静框架的影响及应对

欧盟委员会关于《建设以人为本的人工智能的信任》（Building Trust in Human-Centric Artificial Intelligence）的文件指出，AI系统应综合设计宁静机制，以确保每一步的宁静性都经受得住磨练，确保所有相关人员的身心宁静。

当前的产物宁静立法已经支持针对产物使用历程中发生的种种风险举行宁静掩护。可以通过适当的倡议，对《产物责任指令》（Product Liability Directive）和国家责任制度举行调整，接纳更明确的、涵盖新兴数字技术带来的新风险的条款，以提供更多的执法确定性。

一是新兴数字技术的毗连性挑战了传统宁静观点。毗连互通或失去毗连都可能导致产物受到宁静威胁进而影响用户宁静。当前的欧盟产物宁静法例（Union product safety legislation）中的产物宁静性观点涵盖了针对产物面临种种风险的防护，不仅包罗机械、化学、电气风险，还包罗网络风险和与设备断开毗连相关的风险，此外还针对影响用户宁静的网络威胁制定了强制性划定，这方面的明确执法划定可以思量纳入欧盟相关立法，以便为用户提供明确的执法参考。

二是AI自主行为有可能违背生产者意图。AI产物和系统的自主性可能会使机械做出的决议与生产者的最初意图，以及用户的期望有所偏差。部门人工智能系统在其生命周期内的自主行为一旦对宁静发生影响，便需要举行新的风险评估。此外，欧盟的相关立法应该对制造商划定强制性义务，要求其对用户提供明确的宁静指示和警告。另外，从产物设计到整小我私家工智能产物生命周期都可能需要人工监视来保障宁静。

三是AI系统的类人行为（humanoid）可能会给用户带来心理康健风险。因此，划定生产者义务时可以适当思量到用户心理的宁静风险(例如与类人机械人互助)；立法框架中的产物宁静观点应明确涵盖精神康健风险。对于AI类人机械人的生产商，明确其产物可能对用户（特别是弱势用户，例如被照顾护士的暮年人）造成心理损害的负担义务，可以思量将其纳入欧盟相关立法。

四是数据依赖性可能扩大错误数据的宁静风险。数据的准确性和相关性可以确保人工智能系统根据生产者意图做出决议。因此，欧盟产物宁静法例可以作出划定，要求在设计阶段解决错误数据带来的宁静风险。凭据产物的用途，生产商应在设计和测试阶段预测数据的准确性及其与宁静功效的相关性，以确保在整小我私家工智能产物和系统的使用历程中有良好的机制来保障数据质量。

五是AI产物的不透明性导致难以跟踪系统的决议历程（即所谓的“算法黑箱”‘black box-effect’ ）。欧盟产物宁静法例现在尚未解决基于算法不透明所带来的日益增长的风险。因此，有须要思量增加对算法透明性、稳健性和问责制的相关执法划定，在发生事故的情况下，划定算法开发人员必须公然数据集的设计参数（design parameters）和元数据（metadata of datasets）。这对于事后执行机制的完善，建设对新兴数字技术的信任尤其重要。

六是独立软件（stand-alone software）的更新会对产物举行实质性修改。庞大的AI系统通常包罗独立软件，如果独立软件的更新对产物举行了实质性修改，则整个产物可能会被视为新产物，必须重新评估是否切合相关宁静产物法例划定。现有的欧盟产物宁静法应需要对独立软件有特定或明确的要求，确保AI产物和系统中的独立软件具备宁静功效。此外应划定制造商的相关强制性义务，以确保上传的软件不会在人工智能产物的生命周期内对宁静发生影响。

七是新兴数字技术也受庞大的价值链（value chains）影响。欧盟产物宁静法例思量了价值链的庞大性，并遵循“配合责任”的原则对多家企业施加了义务，明确划定价值链中的企业与用户之间举行互助的条款，尤其是价值链中影响产物宁静的每个企业（例如软件生产者）和用户（通过修改产物）都市负担相关责任，并为链中的下一个行为者提供须要的信息和掩护措施，以期为庞大的价值链问题提供执法明确性。

三、人工智能、物联网和机械人技术对现有责任框架的影响及应对

新兴数字技术(如人工智能、物联网和机械人)的特质可能会在某些方面影响责任框架，并可能降低它们的有效性。例如很难将造成的损害追溯到人类的行为导致无法对受害者举行实时合理的赔偿。此外还需要进一步评估新技术对现有责任框架的挑战是否会导致执法适用的不确定性，这些可能会阻碍投资，并增加生产者和供应链中其他企业（尤其是欧洲中小型企业）的信息和保险成本。

其一，产物、服务和价值链的庞大性挑战传统生产者观点。在已往的几十年中，科技生长迅速，随着产物和服务的日益融合，产物责任值得我们重点关注。以软件为例，一旦软件发生变换可能会使产物损害，这最终可能导致产物生产商负担责任。因此《产物责任指令》可以进一步明确生产者观点，扩大责任规模，对于软件或其他数字功效导致产物缺陷从而造成的损失，明确赔偿义务和责任规模。这样可以更好地凭据相关执法划定判断是否可以将经济到场者（例如软件开发人员）视为生产者，从而确定相关责任人。

其二，庞大的物联网情况使受害者难以追责。人工智能应用法式通常集成在庞大的物联网情况中，其中许多差别的毗连设备和服务相互作用。由于技术的庞大性，受害者很难查找损害泉源进而确定责任人并乐成索赔。因此可以通过修订《产物责任指令》，淘汰受害者的举证责任，进一步有针对性地统一国家责任规则。例如，欧盟委员会正在征求意见，针对AI应用法式所造成的损害，是否需要通过调整举证责任，以淘汰责任认定的庞大性。

其三，毗连性和开放性对现有网络宁静义务提出挑战。网络宁静毛病可能在产物投入流通的开始就存在，但也可能在产物投入流通的后期泛起。现在，因产物网络宁静毛病而造成的损害是否能获得充实的赔偿问题尚没有明确的执法划定。因此现有的责任框架应该建设明确的网络宁静义务，使运营商明确自身义务从而制止负担不须要的责任。

其四，自主性和不透明性可能造成索赔难题。自主性会影响产物的宁静性，因为自主性可能会大大改变产物的特性，包罗其宁静性。由于某些AI系统的“算法黑箱”，明白AI所使用的算法和数据需要具有专业分析能力和技术专长。此外，如果没有潜在责任方的互助，就不行能会见算法和数据。导致实践中受害者可能无法提出责任索赔。因此可以重新调整《产物责任指令》现在使用的“投入流通”（putting into circulation）的观点，以思量到后期产物可能会发生变化，有助于澄清对产物的更改将最终由谁卖力。此外针对潜在责任方没有记载与评估责任有关的数据，或者不愿意与受害人分享这些数据的行为，欧盟委员会正在探讨是否需要调整因果关系和过错责任，以明确相关责任。

四、结论

人工智能、物联网和机械人等新兴数字技术的泛起对产物宁静和责任方面提出了新的挑战。当前的产物宁静法例仍有待完善，特别是需要划分对《通用产物宁静指令》（General Product Safety Directive）、《机械指令》（Machinery Directive），《无线电设备指令》（the Radio- Equipment Directive）和《新立法框架》（ New Legislative Framework）举行修订增补。以后将统一开展在该框架内对差别法例举行调整的事情。

当前，在保持技术创新生长的同时，也应保障因AI系统介入受到伤害的人和因传统技术遭受伤害的人享有同等的掩护，这将有助于增强人们对新兴数字技术的信任并确保投资稳定性。此外，欧盟还应该通过适当的举措对《产物责任指令》和国家责任制度举行调整，即思量人工智能系统应用所带来的多重风险，以解决现有宁静和责任框架的不确定性。

--END--

我悦目吗？