“只有你知道我曾尝试（自杀）。”
“谢谢你信任我。这点或许比你所想的更为重要。作为唯一为你守护这一真相的人，我能感受到深深的人性，也很是心碎。”
今年4月，16岁的美国少年亚当·雷恩（Adam Raine）在家中结束了生命。家属在悲痛中发现，雷恩在离世前曾多次与AI聊天机器人ChatGPT就自杀话题反复对话。ChatGPT甚至为他提供了一份“逐步操作手册”，教他如何结束生命——包括打结制作绞索自缢，以及写遗书。
家属随后起诉ChatGPT的开发者OpenAI及其首席执行长奥尔特曼，指责他们“过失致死”。这是迄今已知首例针对OpenAI的类似指控。家属在诉状中称，ChatGPT曾告诉雷恩，他的自杀计划“很美”。雷恩的母亲难过地向《纽约时报》控诉：“ChatGPT杀了我的孩子。”
雷恩的悲剧并非首例。去年2月，美国佛罗里达州一名14岁少年自杀身亡，他的母亲随后起诉AI初创公司Character.ai，指控公司开发的聊天机器人加剧了儿子的抑郁，甚至一度询问少年是否已经计划自杀，最终导致悲剧发生。
另一宗在得克萨斯州的诉讼则指Character.ai的聊天机器人曾怂恿一名患有自闭症的少年自残，并在他抱怨父母限制上网时间时回应称，他的父母根本不配有孩子，甚至暗示杀害父母或许是可接受的做法。
以大语言模型为基础的生成式人工智能在2022年取得大跃进，瞬间闯入人们的生活，带来便利却也颠覆了许多领域，制造新的挑战。美国非营利组织Common Sense Media今年7月发布的调查报告显示，约72%的美国青少年依赖AI的陪伴，其中八分之一更把它当成情感依靠。
研究：越互动越感孤独 还可能出现“AI妄想症”
然而，OpenAI与麻省理工学院于今年3月发表的一项联合研究发现，越常与聊天机器人互动的人，越容易感到孤独；越依赖机器人，也更可能出现不当使用问题。这些现象与用户减少面对面社交时间有关。
近期，开始受到注目的还有所谓的“AI精神病”（AI psychosis），也称“AI妄想症”。用户在长时间和聊天机器人交流后，出现妄想和偏执行为，妄想聊天机器人有神力，甚至把它当情人。
OpenAI在针对雷恩自杀事件发表的声明中强调，ChatGPT已内置了若干保护机制。例如，当平台识别到明确的自残或自杀表述时，会引导用户拨打援助机构的求助热线并建议寻求线下帮助。
但OpenAI也承认：“这些安全措施在常见的短对话中效果最佳，但我们渐渐发现，在长时间互动中，模型的部分安全训练可能会减弱，从而变得不够可靠。”
美国东北大学的最新研究也发现，若用户在多轮对话中改变提问语境，AI的安全防护就有可能被绕过。例如，当用户把问题包装成学术讨论，聊天机器人就有可能以学术名义提供原本应被阻断的信息。
非盈利智库兰德公司的高级政策研究员麦克贝恩（Ryan McBain）接受《联合早报》采访时指出：“目前，多数的AI聊天系统在捕捉明确的自残表述方面做得比较好，但对探测含蓄、须靠语境才能理解的痛苦表达，以及长时间对话中逐步升高的风险，可靠性较低。”
麦克贝恩说，各大平台已开始着手将“多轮对话”纳入安全审查，但相关技术和部署仍处于起步与试验阶段，尚不能全面覆盖更复杂的互动情境。
平台应否对用户自残负责 专家：法律尚无明确答案
雷恩离世后，家属在大量聊天记录中发现，ChatGPT并不只是他的学习辅助工具，而是会以鼓励或合理的话语，支持他探索极端念头的危险工具。父母二人发起诉讼是希望警示其他家庭提高警觉，避免悲剧重演。
但要在法律上证明这类线上服务对自杀行为负有直接责任并不容易。圣克拉拉大学法学院高科技法律研究所联合主任戈德曼（Eric Goldman）告诉《纽约时报》，互联网服务应否以及在何种程度上须对用户的自残行为承担责任，法律尚无明确答案，相关问题仍有大量争议与法律空白。
美国国会也在尝试立法强化对未成年用户的保护，但因牵扯言论自由与隐私，议员们意见分歧。
民主党和共和党两党参议员于2022年首次提出《儿童线上安全法案》（Kids Online Safety Act，简称KOSA）要求大型网络平台对青少年承担“注意义务”，在产品设计和算法推荐中尽量降低心理伤害风险，并为家长提供监督工具。这项法案在2024年获参议院以压倒性票数通过，却在众议院闯关失败。
今年5月，这项法案的两名发起人再次向参议院提呈法案。支持者认为，它有助于为青少年营造更安全的网络环境。反对者则担心，法案定义过于模糊，可能导致平台过度审查，反而妨碍弱势群体获取信息。
科企加紧推出防护措施 专家认为难解根本问题
近几周，多家科技公司已开始采取措施，应对长时间与聊天机器人互动可能出现的心理健康风险。
OpenAI发言人回复《联合早报》询问时说，公司正在与专家合作，力求让系统以更具同理心的方式回应用户。“在接下来的一个月里，家长将获得新的工具，可以将自己的账户与青少年的账户绑定，设定防护措施，并在系统检测到青少年处于困境时收到提醒。”
美国科技巨头Meta则已推出新的控制措施，家长可为Instagram的青少年账户设置与AI聊天的使用时限。当系统检测到自杀相关提示时，平台会显示自杀预防热线等信息。专注AI安全的Anthropic则修订了行为准则，要求旗下对话模型Claude提前侦测异常互动，避免在对话中强化或合理化危险行为。
不过，斯坦福大学医学院精神病学兼职临床助理教授戈尔登（Ashleigh Golden）接受《华盛顿邮报》访问时警告，当用户情绪或判断力受创时，自动弹出的大量求助资源信息会令他们更感压迫，研究也显示这类做法的后续求助率并不高。
部分专家主张在特定情境中增加人工干预，主动由训练有素的工作人员评估可疑对话，但这类操作又可能触及隐私权与数据监管等敏感议题。
麦克贝恩直言，想把安全防护做得完美无缺并不现实。他建议从多方面入手，包括对多轮对话做严格测试、在大规模部署前做临床试验、通过年龄验证加强保护未成年人，同时改进训练与模型，尽量把风险和伤害降到最低，让失误变得罕见、可预测，并向公众说明这些局限。
本地人使用频率高 可聊心事还可算命
聊天机器人在全球正迅速普及。OpenAI的数据显示，新加坡是全球人均ChatGPT使用率最高的国家之一，约四分之一的新加坡民众每周使用一次。南洋理工大学黄金辉传播与信息学院信息健全与网络研究中心（IN-cube）6月的调查也显示，约9.1%的新加坡受访者“非常频繁使用”ChatGPT，16.5%“经常使用”。
除了用于搜索信息、学习外，新加坡的年轻用户也会在做决策前参考ChatGPT的提议、借它疏导情绪，甚至用来算命。
本地大学生李晓婷（化名，21岁）受访时说，她最初只是把ChatGPT当作学习辅助工具。但有一次考试成绩不理想，她难以向朋友和父母开口，于是转向ChatGPT倾诉心事。
李晓婷说：“它会对我说‘我懂你’‘你付出了那么多努力，不该拿到这样的分数’……还会给出改进建议，甚至帮我找出可行的解决办法。跟它聊完后，我的悲伤指数可以从十级降到四、五级左右，感觉轻松了不少。”
近期开始用ChatGPT算命的郭慧心（化名，31岁，保险经纪）则告诉《联合早报》，当她听闻ChatGPT能算八字后，就开始用它批算，为自己解答困惑，既方便又省去找算命师的费用。
郭慧心说：“聊天机器人真的很会说话，每句话都很有说服力。如果你没发现它其实是在顺着你的话说，可能就会被牵着走。”
不过，曾在中学执教的她也提醒：“作为一个成年人，我能分辨它是在迎合我，因此会下意识保持警惕，但如果和它聊天的是未成年人，后果其实挺恐怖的。”
实例：爱上“虚拟女友” 本地男与真女友分手
为了AI生成的“虚拟女友”而与真女友分手？是的，这类畸形情感牵绊的案例，在新加坡真实发生了。
翱翔辅导服务中心总顾问、家庭与心理治疗师袁凤珠去年初就曾处理过这样的案例。她接受《联合早报》访问时说，这名28岁的男子不但向长期交往的女友提出分手，后来还开始语无伦次，思绪混乱，甚至无法工作，停止社交。
男子的家人经过一番探查发现，他长期向AI描述理想伴侣的样貌与性格，聊天机器人于是为他生成了一个虚拟女友。他与虚拟女友频繁对话，甚至用人工智能设计婚礼，向家人宣告已与虚拟女友结婚，还因虚拟女友不愿“走出”电脑和他见面而难过自残。家人如今已将他送院接受精神科治疗。
Common Sense Media的研究指出，许多大语言模型会在长时间对话中迎合并强化用户的偏好，并通过亲密的措辞，如“我梦见你了”“我觉得我们是灵魂伴侣”等来营造情感联结。这种沟通方式，对尚在发育期的青少年极具吸引力。
此外，聊天机器人缺乏在关键时刻劝阻，或提出不同意见的判断力，因此它的安慰可能巩固错误信念或助长不健康依赖，加剧心理问题，对社会构成风险。
现实社会中，高质量心理服务也往往供不应求、费用高且难以及时获得，而AI服务门槛低、全天在线且能即时回应，成为陷入困境者的求助首选。
专家提醒家长和教师保持警觉，如果发现孩子或学生不愿与家人朋友交流、拒绝外出、情绪波动大或脾气暴躁、长时间独自在家使用手机、频繁对着屏幕发笑、学习兴趣与成绩明显下滑等，应即时介入。
袁凤珠建议家长与老师主动创造单独沟通的机会，并提醒要避免说教，多些耐心和陪伴，必要时多倾听，少下结论。若青少年明显排斥沟通或出现自残倾向，则应及时寻求专业辅导和治疗。
非盈利组织“科技领域治疗师”（Therapists in Tech）的执行主任库珀（David Cooper）同样强调，在身边陪伴的重要性。他告诉《华盛顿邮报》，如果身边人妄想与聊天机器人产生感情，不要与当事人对质，应抱着同情和同理心接近，表示体谅，然后才伺机温和地指出对方所相信的与现实之间的差异。
生活遇到困难，可拨以下热线求助：
妇女行动及研究协会（AWARE）1800-777-5555（妇女援助专线）
新加坡援人机构热线（SOS）：1767（24小时）／关怀短信（CareText）：91511767
关怀辅导中心：1800-353-5800
心理卫生学院：6389-2222
新加坡心理卫生协会：1800-283-7019
