2016年3月，微软人工智能聊天机器人Tay上线，在与网民互动过程中，很短时间内就“误入歧途”，集性别歧视、种族歧视于一身，最终微软不得不让它“下岗”。曹建峰认为，算法倾向于将歧视固化或放大，使歧视长存于整个算法之中。因此，如果将算法应用在犯罪评估、信用贷款、雇佣评估等关系人们切身利益的场合，一旦产生歧视，就可能危害个人乃至社会的利益。

此外，深度学习还是一个典型的“黑箱”算法，可能连设计者都不知道算法如何决策，因而要在系统中发现是否存在歧视和歧视根源，技术上也较为困难。“算法的‘黑箱’特征使其决策逻辑缺乏透明性和可解释性。”李伦说，随着大数据“杀熟”、算法歧视等事件的出现，社会对算法的质疑也逐渐增多。政府和企业在使用数据的过程中，必须提高对公众的透明度，让选择权回归个人。

加强核查监管，加大对数据滥用等行为的惩戒力度

2017年7月，国务院印发《新一代人工智能发展规划》（以下简称《规划》）。《规划》强调，促进人工智能行业和企业自律，切实加强管理，加大对数据滥用、侵犯个人隐私、违背道德伦理等行为的惩戒力度。

“虽然‘刷脸’的应用越来越多，但人工智能目前仍处于起步阶段，需加大对数据和隐私的保护力度，关注和防范由算法滥用所导致的决策失误和社会不公。”在个人数据权利的保护方面，段伟文建议，应促使数据交易各方对自己的行为负责，让每个人知道自己的数据如何被处理，特别是用于其他用途的情形，减少数据滥用，让人们清楚知道自己的“脸”还是否安全。

段伟文认为，要进一步加强人工智能的伦理设计，对算法的理论预设、内在机制与实践语境等进行全流程追问与核查，从算法决策的结果和影响中的不公正入手，反向核查其机制与过程有无故意或不自觉的曲解与误导，揭示存在的问题，并促使其修正和改进。

在曹建峰看来，应对人工智能带来的伦理问题，一是要构建算法治理的内外部约束机制，将人类社会的法律、道德等规范和价值嵌入人工智能系统；二是在人工智能研发中贯彻伦理原则，促使研发人员遵守基本的伦理准则；三是对算法进行必要的监管，提升算法自身的代码透明性和算法决策的透明性；四是针对算法决策和歧视以及造成的人身财产损害，提供法律救济。

“我们生活在一个人机共生的时代，人类与机器之间势必将发生各种冲突和矛盾，仅靠法律和制度很难完全解决。”李伦表示，人们还应努力提升自身的科学素养，主动维护自身的权利，社会也应尽快建立讨论人工智能伦理问题的公共平台，让各方充分表达意见，促进共识的形成。

（原题为《“刷脸”会不会刷走安全》）