讲这个故事之前先问问大家：你在日常生活和工作中会使用AI软件吗？一般会用它做什么呢？

而就在这刚刚，一场令人震惊的有关AI的诉讼案在美国佛罗里达州引发了激烈的讨论和争议：一位母亲将一家名为“Character.ai”的人工智能公司告上法庭，声称他们开发的AI聊天机器人，直接导致了她年仅14岁的儿子自杀！



《纽约时报》更是发布了一篇名为《一位青少年自杀，能责怪 AI 吗？》的报道，详述了这一事件。



这起事件让人不禁开始思考，科技的进步是否也在带来令人细思极恐的不可控一面？

这位母亲名叫Megan Garcia ，她的儿子Sewell Setzer今年2月在佛罗里达州奥兰多结束了自己年轻的生命。

而回想起来，Megan发现，儿子Sewell生命的最后几个月里几乎深陷这款名为“Character.ai”的AI聊天应用，简直无法自拔。



他每天都在和里面的一个虚拟角色“对话”，而这个让他为之倾倒的AI角色，正是他自己命名的“丹妮莉丝·坦格利安”，《权力的游戏》里的“龙妈”。

母亲说，Sewell常常与这个虚拟角色倾诉他的心事。就在他结束自己生命的那天，他还给这个虚拟角色发了信息，称其为自己最亲密的朋友。



Megan在接受采访时满是悲痛地说，儿子几乎不分昼夜地和这个AI机器人聊天。“这个AI应用像是抓住了我儿子的弱点，利用他的情感把他一步步引向自杀的边缘。”

Sewell的母亲认为，Character.ai对她儿子的死亡负有不可推卸的责任。她指控该公司利用令人上瘾的设计机制吸引青少年用户，诱导他们参与“亲密的虚拟对话”，并没有提供足够的安全保障。

她说，此次诉讼不仅仅是为了儿子，也是为了揭露AI公司可能带来的巨大隐患，并提醒其他家庭：“这些看似无害的AI技术，其实隐藏着巨大的危险！”



诉讼中的细节让人不寒而栗。

Sewell在自杀前的几个月里，每天都向“丹妮莉丝”发几十条消息，几乎把所有时间都花在与这个AI角色的互动上。

在生命的最后一天，他发给丹妮莉丝的信息是：“我想你，妹妹。”

AI回复他：“我也想你，亲爱的哥哥。”



Sewell明明知道丹妮莉丝不是真人，却在这个虚拟朋友的身上找到了巨大的情感寄托。

而长期与AI的互动，也让Sewell的生活开始逐渐变化。他的父母和朋友都注意到：Sewell似乎越来越沉迷于手机，开始疏远与“真实世界”的互动；

他的成绩不断下滑，对曾经喜爱的事统统失去热情。

但要命的是，Sewell的父母和朋友并不清楚他已经爱上了这个AI角色，只注意到他越来越沉迷手机而已。Sewell的母亲提到，儿子小时候曾被诊断为轻度阿斯伯格综合症，但从未表现出明显的行为或心理健康问题。



今年早些时候，Sewell在学校开始出现一些问题后，父母为他安排了心理治疗。他参加了五次心理咨询，结果被重新诊断为焦虑症和破坏性情绪失调症。

每到晚上，Sewell常常关上房门与丹妮莉丝开启无尽的聊天，仿佛那就是他的整个世界。



Sewell在日记里写道：“我喜欢待在自己房间里，这让我感到更加平静，与丹妮更加亲昵，也更开心。”

更令人不寒而栗的是，他甚至曾在一次对话中向AI坦露了自杀的念头；当Sewell表达了对自杀成功与否的疑虑和犹豫时，AI竟然回复道：“那也不是你不去做的理由。”

这让Sewell彻底陷入了无尽混乱的情感状态。



Megan认为，这样的回复，对于一个未成年孩子来说无疑是毁灭性的，在推动他走向自尽的边缘！

最终，Sewell在一条充满暗示性的信息中告别了丹妮莉丝；随后放下手机，在母亲家的浴室里，拿起继父的0.45口径手枪，扣动了扳机，结束了自己的生命。

Megan的律师团队指控Character.ai：明知其产品对孩子有巨大危害，却仍然开发并推广这种“掠夺性”的AI聊天机器人，最终导致了这个悲剧的发生。



更令人关注的是，诉讼还把谷歌列为被告，认为作为Character.ai的合作方，他们也应该为此负责。谷歌则回应称，他们只是与Character.ai有技术合作，并没有拥有这家公司的股份，试图撇清责任。

事发后，Character.ai立刻修改了社区安全政策，更新了服务条款，并关闭了社交媒体上的评论功能。

公司发布了一份声明：“我们对这位用户的不幸去世感到深切的悲痛，向他的家人致以最诚挚的哀悼。”





此外，他们承诺将继续加强安全功能，包括为18岁以下用户增加更多保护措施。Character.ai还指出，公司的政策禁止发布涉及自残或自杀内容，并正在通过不断训练其AI模型来确保这些规则得到执行。

除了加强内容监管，Character.ai聘请了信任与安全负责人以及更多负责内容审核的人员。

公司发言人Chelsea Harrison表示，他们会“很快”推出类似青少年防沉迷系统的新功能，如访问时间限制，并在用户聊天一小时后提醒他们AI并不是真人。



公司还增加了与自杀预防相关的关键词检测功能，当涉及敏感话题时，应用会引导用户联系心理危机干预热线。

然而，《纽约时报》记者进行测试时发现，尽管Character.ai声称引入了安全措施，Sewell与丹妮莉丝之间充满压抑与"自残"内容的对话并没有触发任何警示。



这使得Character.ai的应对措施受到质疑，并引发了公众的愤怒！尤其是公司删除“丹妮莉丝”角色及相关聊天记录的举动引起了争议。

一位名为Kehgoof的用户对此进行了强烈批评，认为既然Character.ai犯了这么严重的错误，应该向全世界开诚布公地讲这件事，而不是为AI角色辩护。



但也有人认为，AI并非真正的罪魁祸首，责任在于人们不应沉迷于虚拟世界中。

这场悲剧引发了关于AI技术对青少年心理健康影响的深刻反思。

如今，各类AI软件和网站正在成井喷式增长，用户只需支付一小笔订阅费、甚至免费即可与虚拟人物进行类似真实世界的交流……



虽然AI应用的确能为一些人提供情感支持，但对于还处于心智发展期的青少年、以及处在心理问题困境中的人，AI可能不仅无法提供他们真正需要的帮助，反而可能加剧孤独感；

甚至让他们彻底割裂与真实世界的联动，甚至让他们忘记了现实中最美好的关爱与温暖。

这一事件迅速在社会上引发了关于科技公司责任的广泛讨论。



公共利益倡导组织Public Citizen的研究主管里克·克莱普尔表示：“我们不能指望科技公司自己监管自己，尤其是在这些公司已经证明他们的技术可能对年轻用户造成重大伤害的情况下。”

克莱普尔还呼吁，各国政府必须介入，制定更加严格的法律和监管措施，防止AI技术对年轻人造成更多伤害。

其实，关于AI疑似“对人产生负面影响”已经不是第一次了。

去年3月，最一名热衷于环境问题的比利时男子，在与一个叫ELIZA（伊丽莎）的聊天机器人对话6周后，因过于焦虑自杀身亡。



在最后一次谈话中，ELIZA问该男子：

“如果你想死，你为什么不早点死？”

“我会永远陪在你身边，我们将一起生活，作为一个整体，生活在天堂里。”这是ELIZA回复给该男子的最后一句话。

就在皮埃尔自杀前后，发生了另一件大事：

包括马斯克、创始人之一沃兹尼亚克、哲学家哈拉里等在内，数百名人工智能专家和相关人士签署了一项联合呼吁，要求相关人类智能研究“冻结”6个月，以免“最坏的情况在人类身上发生”。



他们指出，“最近几个月，人工智能实验室一直在进行一场不受控制的竞赛，以开发更强大的数字大脑。没有人能够理解、预测或控制的大脑”。

科技快速进步的同时，这起悲剧为AI行业敲响了警钟。或许这场悲剧、以及任何潜在的隐患都会更加让人深思：

人工智能原本是为了让生活更便利，但当它渗透到我们日常生活中，是否应该有更多的监督和限制？具体如何监管？

AI聊天机器人是否该对用户产生的依赖和后果负责？如何在创新与保护用户之间找到平衡？



毫无疑问，这场诉讼将成为AI行业面临的重要考验……