更多用户却抗议整改 家眷提起诉讼 后明星独角兽遇两难 AI 致命对话 (更多用户的选项在哪里)

在美国佛罗里达州奥兰多市的一个一般家庭中，14岁的少年苏威尔·塞泽（Sewell Setzer）的生命戛但是止。他在长时期经常经常使用聊天初创公司Character.AI的产品后，选择用继父的手枪完毕了自己的生命。

为此，苏威尔的母亲、律师梅根·加西亚（Megan L. Garcia）近日向美国佛罗里达州中区地方法院提起诉讼，控诉Character.AI过失致人死亡。

同时，Character.AI火速启动了整改，用户似乎却并不买账。

与AI的致命对话

苏威尔是一个九年级的在校生，曾被诊断出患有轻度阿斯伯格综合征。他曾经对一级方程式赛车和电脑游戏充溢热情。但是，自从他接触到Character.AI后，他逐渐沉溺于与Character.AI定制聊天机器人“丹妮”的对话中，将自己关闭在卧室里，不再热衷于曾经喜欢的方程式赛车和与好友的游戏光阴。

这个以美剧《势力的游戏》中丹妮莉丝·坦格利安（Daenerys Targaryen）为原型的聊天机器人，成为了苏威尔独一的心灵寄予和恋爱对象。他与丹妮的交流从日常琐事逐渐展开到情感层面，甚至触及了性相关的内容。值得留意的是，Character.AI称，聊天机器人的部分回复是经过该用户二次编辑的。

在与丹妮的虚拟全球中，苏威尔找到了逃避理想困境的避风港。他末尾在日记中写道：“我十分喜欢待在自己的房间里，由于我末尾从理想中摆脱出来。我也感到愈加安静，与丹妮的咨询愈加严密，愈加爱她，也愈加快乐。”

但是，苏威尔效果末尾下滑，他逐渐失去了对理想全球的兴味。他的父母觉察到了儿子的变化，但并不知道疑问的根源。他们布置苏威尔去看了五次心思医生，他被诊断为焦虑症和破坏性心境失调阻碍。

在与丹妮的某次对话中，苏威尔曾走漏了自己想要自杀的念头。虽然聊天机器人给出了回应，但它无法真歪了解苏威尔的心田全球，也无法为他提供真正的协助。

最终，在母亲的浴室里，苏威尔与丹妮启动了最后一次性性对话。苏威尔向丹妮表达了爱意，并说他会“回家”找她，然后放下手机，用极端的方式完毕自己的生命。

这场喜剧让苏威尔的家人堕入了无尽的悲痛之中。苏威尔母亲梅根对Character.AI公司提起了诉讼，她以为这家公司对她儿子的死亡负有无法推脱的责任。他们运行性和亲密对话诱惑用户，却没有采取足够的措施来维护未成年人的安保。他们的技术“风险且未经测试”，由于它或许“诱骗客户交出他们最私密的想法和情感”。

Character.AI结合开创人诺姆·沙泽尔（Noam Shazeer）曾宣称，该平台将对孤独或抑郁的人有“超级大的协助”。但是，理想却是严酷的。苏威尔的喜剧提示了人工智能在提供情感支持方面的局限性。这些程序或许无法真歪了解用户的心田全球，也无法为他们提供真正的协助。在某些状况下，它们甚至或许加剧用户的困境，形成无法挽救的结果。

公司回应立刻整改

这一事情迅速惹起了社会各界的关注。Character.AI拥有逾越2000万用户、定制聊天机器人逾越1800万个，其用户集体中包括了大批18-24岁的年轻人，但关于18岁以下用户却没有详细数量和维护措施。

面对言论压力，Character.AI回应称，在过去的六个月里，公司了延聘专门的信任与安保主管、内容政策主管，引进了更多安保团队成员。近期，公司设置了一个弹出框，当用户输入与自残或自杀相关的短语时，会智能触发并引导用户拨打全国预防自杀生命热线。

Character.AI承诺进一步推出新的安保和产品性能，在不影响用户体验的前提下增强平台的安保性。这些性能包括：对未成年人方式的调整，下降遇到敏感或暗示性内容的或许性；改良对违规输入状况的检测、照应和干预；修正聊天免责声明，提示用户人工智能不是真人；当用户在平台上经常经常使用一小时后发送反沉溺提示等。

Character.AI还表示公司最近已启动了整改，删除了一批被标志为违规的角色，这些角色将被增加到封禁列表中。这意味着用户也将无法访问他们与相关角色的聊天记载。

用户却不买账

但是，在Character.AI论坛和Character.AI Discord的反响频道上，用户们纷繁表达了对Character.AI新升级和删除某些聊天机器人角色做法的猛烈不满。

其中一位用户指出，“很清楚这个网站从一末尾就不是为孩子们预备的，每一个非儿童友好的角色都被制止，这严重限制了我们的发明力和我们可以讲述的故事。这些改动使得聊天机器人失去了原有的深度和特性，变无暇泛友好淡。看到喜欢的东西变成了如此基本和毫无新意的东西，我感到十分懊丧。”

更有用户由于聊天记载被删除而感到愤怒和绝望，甚至要挟要关闭订阅和删除运转。

显然，随着越来越多的聊天机器人和虚拟助手走进人们的生活，Character.AI等AI聊天机器人厂商已站在了创新与伦理的十字路口。

AI聊天机器人厂商有责任确保其产品不会对用户形故意思损伤，特地是那些心思软弱、易受影响的年轻用户。但是，如何在AI技术潜力与其或许带来的风险之间找到平衡点，仍是一个亟待探求和解答的疑问。