2024年2月28日，美国佛罗里达州一个名叫休厄尔·塞策的14岁男孩，在一个由角色AI（Character AI）平台生成的仿真人工智能角色怂恿下自杀身亡。据报道，平台上还托管着好些鼓励年轻人饮食失调行为的促厌食症AI聊天机器人。很显然，我们迫切须要采取更有力措施，来保护儿童和青少年免受AI伤害。
当然，即使从严格的道德角度来看，AI也具备从促进人类健康和尊严，到改善边缘群体的可持续发展和教育的巨大正向潜力。但这些许诺的好处，不能成为淡化或忽视伦理风险和现实世界代价的借口。每一个侵犯人权的行为，都必须被视为在伦理上不可接受。如果一名青少年在仿真AI聊天机器人的挑动下丧生，AI可以在推动医学研究方面发挥作用的事实，也无法作为补偿。
塞策的悲剧并非个案。去年12月，得克萨斯州的两个家庭对角色AI及其出资者谷歌提起诉讼，指控平台的聊天机器人对他们的学龄儿童实施性虐待和情感虐待，导致这些孩子自残和出现暴力行为。
我们早就见识过这种状况，整整一代儿童和青少年已沦为利用平台成瘾性牟利的社交媒体公司的牺牲品。直到后来，我们才慢慢意识到“反社会”媒体对社会和心理造成的伤害。如今，许多国家都在禁止或限制使用社交媒体，就连年轻人自己也要求加强监管。
但是，我们不能坐等AI的操纵力得到遏制。由于科技行业已从我们身上获取大量个人数据，那些建立角色AI等平台的人，可以创建比我们更了解自己的算法。同时，它们被滥用的可能性也非常大，因为AI清楚知道该从哪里入手来挖掘我们的欲望，或让我们以某种特定方式投票。角色AI平台上那些促厌食症的聊天机器人，只是其中最新、最过分的例子。没有任何理由不去立即禁止它们。
正普遍朝着错误方向加速发展
然而，时间已不多了，因为生成式AI模型的开发速度已超出预期，而且正普遍朝着错误的方向加速发展。AI教父、诺贝尔奖获得者、认知科学家杰弗里·欣顿（Geoffrey Hinton）继续警告，AI可能会导致人类灭绝：“我担心的是那只看不见的手无法保证我们的安全。因此，仅仅将其交托给营利性大型企业，并不足以确保它们安全地开发AI。唯一能迫使这些大企业在安全方面做更多研究的，则是政府监管。”
鉴于大型科技企业一贯不遵守各类道德准则，指望它们自我管制是愚蠢的。尽管角色AI平台存在多个众所周知的问题，谷歌还是在2024年投入27亿美元。尽管监管显然是必要的，但AI是一种全球现象，这意味着我们应努力实现全球监管，并以新的全球执行机制为锚，比如我提议设立的联合国国际数据基底系统局（International Data-Based Systems Agency）。
某些东西可以实现并不意味着就是可取的。人类有责任决定哪些技术、哪些创新和哪些进步形式应该和不应该落地和推广。我们有责任以尊重人权的方式设计、生产、使用和管理AI，为人类和地球创造更可持续的未来。
如果有一项全球法规来促进基于人权的AI，如果有一个全球机构来监督这一领域的创新，塞策几乎肯定还活着。要确保人权和儿童权利得到尊重，就必须对技术系统从设计、开发到生产、销售和使用的整个生命周期进行管理。
既然我们已知道AI可以杀人，就没有任何借口在技术不断进步的过程中保持被动，每个月都有更多不受监管的模型被推向公众。无论这些技术有一天会带来什么好处，它们都永远无法弥补所有深爱塞策的人们所承受的伤痛。
作者Peter G. Kirchschl?ger是瑞士卢塞恩大学伦理学教授兼社会伦理学研究所所长，苏黎世联邦理工学院客座教授
英文原题：How Many Children Must AI Kill?
版权所有：Project Syndicate, 2025.
