编译｜智东西 董温淑
智东西1月14日消息，近日，来自谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一个改善AI系统伦理偏见的方法：类似bug赏金计划，用赏金鼓励开发人员去发现人工智能系统中的偏见。
随着人工智能在商业、政府和社会等方面的渗透，对于AI的关注、研究和实践也在不断增多，人们尤其关心AI在放大偏见、道德洗礼、隐私损失、数字上瘾、面部识别误用、虚假信息和造成失业方面的影响。研究显示，一些AI系统有加强种族、性别偏见的倾向，使用它们会在现实生活造成不公平现象。
比如，为了减少新冠病毒在监狱爆发的风险，美国司法部最近计划采用名为“PATTERN”的AI工具来识别出容易感染病毒的犯人，并优先把这部分犯人遣送回家。而美国司法国家研究院的样本分析数据显示，有30%的白人男性被PATTERN列为需要“优先治疗”，在黑人男性中这一数据仅为7%。
这说明PATTERN具有种族偏见，判断结果对黑色人种并不公平。
因此，研究如何规避AI开发、部署过程中的偏见是有必要的。谷歌大脑、英特尔、OpenAI以及美国和欧洲顶级实验室的研究人员提出了一种新的规避AI工具伦理偏见的方法，或有助于改善状况。
这项研究已经发表在学术网站arXiv上，论文题目为《迈向更可靠的人工智能发展：支持可核实索赔的机制（Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims）》
论文链接：https://arxiv.org/abs/2004.07213
一、“可核实索赔”方式，提高AI系统伦理原则可验证性
近年来，包括OpenAI、谷歌甚至是美国军方在内的80多个机构都起草了AI伦理原则，但论文作者认为制定AI伦理原则只是“确保AI带来有益社会成果的第一步”，而且“现有的行业和学术规范不足以确保AI的负责人发展”。
另外，针对工人和社区的调查显示，大部分公众仍担心人工智能的风险，不相信上述组织能够有效地自我调节。
因此，研究人员认为需要采取更强有力的措施，而不是停留在“高水平的原则”层面上。“（就像）乘坐飞机的人并不会因为航司公关的宣传而感到安全，而是因为有相应的配套基础设施。”论文写到。
研究人员提出了一种赏金计划来解决AI系统的伦理偏见，即向发现并报告AI系统伦理偏见的开发者提供奖励。
这个设想的难点在于AI系统伦理偏见的可验证性，因此，研究者设计了一个“可核实索赔”的机制来解决问题。“可核实索赔”机制将人工智能开发过程看作一个社会技术系统，建立制度机制、软件机制和硬件机制来验证开发者找到的伦理偏见。
论文指出，为了建立一个可核实AI开发索赔的系统，跨部门、跨组织的协作是必要的。
二、建立可核实的索赔机制
根据论文，研究人员借鉴了已有的开发者索赔机制，还设计了一些新机制，最终设计了一个包括三方面机制的可核实的AI索赔系统。
1、机构机制：评估开发工作
“机构机制（Institutional Mechanisms）”涉及价值观、激励机制和责任制。指建立一个第三方审计机构，机构有权评估开发者或开发部门的工作，这有助于确保后者在开发过程中更加勤劳。
机构可以从以下几个方面激励开发工作：
澄清组织的目标和价值观；
提升AI开发过程中的透明度；
鼓励开发者以负责任的方式行事；
促进开发者之间的信息交流。
2、软件机制：制定审计跟踪要求
“软件机制（Software Mechanisms）”涉及具体的人工智能系统及其属性。是指标准制定机构与学界和业界合作，为人工智能的关键安全应用制定审计跟踪要求。
关于一些软件机制的知识并不普及，因此，AI开发组织和资助机构应该支持对AI系统软可解释性的研究，着重支持风险评估和审计方面。
AI开发人员应该开发、共享、使用成套工具，用共同的标准衡量成绩，以此保护机器学习的隐私。
3、硬件机制：提升计算能力
硬件机制（Hardware Mechanisms）涉及物理计算能力及其属性。更强的计算能力有助于建立起更强的AI系统，可以进一步增强核实索赔的技术能力。
硬件与AI开发的许多方面相关。比如传感器、网络、记忆、处理能力等。
因此，论文建议，业界和学界应该着力开发硬件安全功能，或者探索使用安全硬件的最佳方式。此外，政府资助机构也应增大在硬件方面的投入，助力提高计算能力。
三、能与现有努力相补充，仍待进一步研究
论文中写道：“偏见和安全奖励把bug奖励计划扩展到了AI领域，（这）可以与现有努力相补充，可以更好地记录数据集和他们性能限制和其他性能的模型……如果说AI伦理原则的广泛阐述是确保人工智能负责任发展的第一步……那么建立可核实索赔的机制就是第二步。”
但是，研究人员也指出这种设想还存在一些局限性：
首先，在索赔的可核实性和此类索赔的普遍性之间存在矛盾；
其次，索赔的可核实性并不代表他们能够在实践中被核实；
另外，即使有一种关于AI开发的索赔被证明是错误的，权力的不对称可能会阻碍修正措施的采用。
因此，研究人员表示，期待这些机制能够帮助AI研究机构以跨组织协作的方式开展有意义的讨论，并鼓励有兴趣的合作者提供更多建议。
他们还指出，发现AI系统中的偏见和安全问题是这项研究的出发点，但这项机制也可以用于改善其他属性（比如安全性、隐私保护、可说明性等）。
结语：改善AI系统伦理偏见新思路，未来将有更多方法
尽管还有一些局限性，但可验证索赔的方式提供了一个改善AI系统伦理偏见的新思路，提高了AI系统伦理原则的可验证性，有助于塑造更加积极、公平的AI系统。
除了赏金鼓励，论文中还建议用红队测试（Red Teaming）来发现AI系统的缺陷或漏洞。随着研究的深入，验证人工智能系统各方面性能的方法将会越来越多，让我们拭目以待。
文章来源：Leadership Conference on Civil and Human Rights，VentureBeat，arXiv
