首例AI机器人致死案震惊全球 AI因卷入一则青少年自杀案而遭起诉
作者：chunzhi 发布时间:2024-10-25在自杀之前，Setzer每天都要向聊天机器人发送数十条消息，并进行长时间的角色扮演对话。虽然聊天框中反复提示相关内容均为虚构，但Setzer的聊天记录显示他对这一虚拟AI人物产生了一种情感依恋。
etzer的父母和朋友们承认，他们并不知道自己的孩子已经爱上了聊天机器人，只是看到Setzer更加沉迷于自己的手机，甚至正在孤立自己并远离现实世界。
过去，Setzer很喜欢F1方程式赛车，也会和自己的朋友一起玩《堡垒之夜》。但他在生命的最后几个月中，更喜欢的是在放学回家后与手机里的虚拟人物聊上几个小时。
有一天，Setzer在他的日记中写道：“我非常喜欢呆在我的房间里，因为我开始脱离这个现实，我也感到更平静，与丹妮（对虚拟人物Targaryen的昵称）的联系更紧密，更爱她，更快乐。”
etzer小时候被诊断出患有轻度阿斯伯格综合症，但他以前从未有过严重的行为或心理健康问题。今年早些时候，在他开始在学校惹麻烦后，他的父母安排他去看治疗师。他参加了五次心理咨询，并被诊断为焦虑症和破坏性情绪失调障碍。
二、成瘾、依恋并非个例，众多青少年在线诉苦
在《纽约时报》报道发布后，有不少网友指出父母的缺位、对枪支管控的疏忽都可能与少年Setzer的自杀有关。
然而不可否认的是，Character。AI提供的聊天机器人似乎让Setzer更容易陷入情绪的深渊，与现实世界隔绝。
有不少青少年在X平台、TikTok和YouTube上分享，自己对Character。AI出现了成瘾现象。
有不少网友在一部分析Character。AI影响的纪录短片评论区中分享自己与Character。AI交互的体验。
一位网友称，自己第一次使用Character。AI时恰好遇到了服务器宕机，当时Discord论坛上几乎“炸了”，用户哭诉的消息满天飞。
还有网友称，即便是在观看完纪录片后，仍然会控制不住地回到Character。AI中。
一位似乎仍在上学的孩子也有类似的感受，他称自己很努力地想摆脱对Character。AI的成瘾，但无济于事。这种成瘾已经严重影响了他的生活和学业。
与ChatGPT和Claude等聊天机器人不同，Character。AI与用户互动时不像前者那样谨慎。用户还具有更高的自由度，可以为自己量身打造虚拟聊天对象，并指导它们应该如何行动。
用户还可以从大量其它用户创建的聊天机器人中进行选择。Character。AI里一些最受欢迎的聊天机器人包括“咄咄逼人的老师（Aggressive Teacher）”和“高中模拟器（High School Simulator）”等名称，还有大量的动漫角色、影视作品人物被制作成了虚拟AI人物。
Character。AI告诉《纽约时报》，Setzer使用的那个AI角色是由用户创建的，没有得到版权方的许可。
Character。AI的服务条款要求美国用户至少年满 13 岁，欧洲用户至少年满 16 岁。目前，该程序没有针对未成年用户的特定安全功能，也没有“家长控制（Parental Control）”功能，父母无法限制孩子使用该平台或监控他们的消息。
这项技术还在不断改进。如今，许多AI陪伴类产品已经可以记住过去的对话，适应用户的沟通方式，扮演名人或历史人物，并流利地谈论几乎任何主题。有些可以向用户发送AI生成的“自拍”，或者用逼真的合成语音与他们交谈。
斯坦福大学研究员Bethanie Maples研究了AI陪伴应用程序对心理健康的影响，她认为目前该领域仍然像是“狂野的西部（Wild West）”。换言之，对AI陪伴应用程序的监管处于缺位状态。
Maples称，AI陪伴本身并不危险，但有证据表明，对于抑郁和长期孤独的用户以及正在经历重大变化的人来说，AI陪伴产品是危险的。青少年往往正在经历变化。
三、青少年为平台重要用户，安全护栏实测效果有限
在《纽约时报》记者联系Character。AI后，该公司的信任与安全（Trust and Safety）主管Jerry Ruoti发表了一份声明，开头写道：“我们承认这是一个悲惨的情况，我们的心与去世孩子的家人同在。我们非常重视用户的安全，一直在寻找改进平台的方法。”
Ruoti还说，Character。AI原有的规定已经禁止 “宣传或描述自残和自杀行为”，并将为未成年用户增加额外的安全功能。他拒绝透露该平台有多少18岁以下的用户，但称“Z世代和年轻的千禧一代是我们社群的重要组成部分。”
Character。AI发言人Chelsea Harrison称，Character。AI将“立即”增加针对年轻用户的安全功能。
新推初的时间限制功能，将在用户当日使用Character。AI的时间超过1个小时后收发出通知。
原有的警告消息也将修改，修改后的内容为：“这是一个AI聊天机器人，不是真人。把它所说的一切都当作虚构，所说的内容不应被视作事实或建议。”
该平台还具有一项功能，允许用户编辑聊天机器人的回应，以将机器人生成的文本替换为他们自己的文本。
Character。AI审查了Setzer的账户，并称AI角色与Setzer之间更具性暗示的回应已被编辑，可能是Setzer本人编辑的。
但Setzer从虚拟AI角色处收到的大多数消息都没有经过编辑。
《纽约时报》科技记者Kevin Roose称，他能够在自己的帐户上重现许多相同类型的对话，包括关于抑郁症和自残的聊天，而这些聊天不会在应用程序中触发任何安全弹出窗口。
四、Character。AI创始人：“我想推动这项技术快速发展。”
Character。AI是AI陪伴市场的领头羊，目前有超过2000万人使用这家企业的服务。其官方描述为：“能听见你、理解你、记住你的超级智能聊天机器人。”
Character。AI的用户使用强度很高，每秒请求量曾一度达2万次，是谷歌搜索的20%。
这家企业由2位曾在谷歌任职的AI研究人员创立。其中，Character。AI的前CEO兼联合创始人Shazeer是Transformer模型论文的8位作者之一，也因此在AI界享有极高的声誉。
这家成立3年的初创公司去年以10亿美元的估值筹集了1。5亿美元。谷歌在今年8月向Character。AI支付了约27亿美元的许可费，以使用该公司的相关技术，并重新雇用了Shazeer和De Freitas。
刘谦团队被曝集体食
逆行打人的路虎女是
长安银行回应“12.5
湖南8个村子因暴雨失
二十届三中全会前瞻
河南一商户发现欠燃
形似外星生物巨型尸
学校食堂用带油漆铁
什么是铊中毒？铊中
辟谣深夜牛杂汤服务