指控教唆美国青少年杀父母，自杀，自残和擦边色情等，聊天机器人Character.AI 平台遭起诉

（大中网/096.ca讯）美国有线电视新闻网（CNN）报道说，两个家庭起诉聊天机器人Character.AI平台，指控该公司向他们的孩子提供擦边色情内容，并鼓励自残和暴力。诉讼要求法院关闭该平台，直到危机得到解决。

根据周一（12月9日）向德克萨斯州联邦法院提交的一份诉状显示，由两名使用过该平台的少年父母提起的诉讼称，聊天机器人Character.AI 平台“对美国青少年构成了明显的危险，对成千上万的孩子造成了严重伤害，包括自杀、自残、擦边色情、孤立、抑郁、焦虑和对他人的伤害”。

例如，诉状称，聊天机器人Character.AI平台向一名青少年用户暗示，如果父母限制他玩手机的时间，就可以杀死父母。

Character.AI 成立于2021年，总部位于美国加利福尼亚州，该公司利用AI大模型生成各种人物和角色风格的对话。2023年Character.AI从投资者那里筹集了1.5亿美元，估值10亿美元，使其成为生成式人工智能热潮中的最大赢家之一。

聊天机器人Character.AI 平台将自己的技术定位为 “为你的每时每刻提供个性化人工智能”， 允许用户设置虚拟角色并进行对话，AI能够自动代入角色的设定，以特定的语言风格陪伴用户。这些角色包括影视剧中的人物，丘吉尔、莎士比亚这样的历史名人，以及歌手泰勒•斯威夫特（Taylor Swift）、《暮光之城》中帅气的库伦（Edward Cullen）这样的娱乐名人等。用户也可以定制属于自己的聊天机器人。

这些聊天机器人在美国青少年中非常受欢迎。CNN在查看该平台主页时，还看到一个名为“继父”的聊天机器人，简介自称 “爹味十足、咄咄逼人、喜欢滥用职权、退役军人、黑手党头目”。

Character.AI 平台的服务条款要求美国的用户至少13岁，欧洲的用户至少16岁。目前，没有针对青少年用户的特定安全功能，也没有家长控制功能以允许家长限制孩子使用该平台。

此前，佛罗里达州的一位母亲在今年 10 月份对 Character.AI 平台提起了另一起诉讼，声称该平台应为她 14 岁儿子的死亡负责，因为该平台鼓励他自杀。

此次诉讼也引发了美国关于人工智能公司法律责任的讨论。传统上，美国社交媒体平台受到《通信规范法》第二百三十条的保护，不对用户生成的内容负责。然而，随着人工智能生成内容的兴起，美国法律界开始探讨科技平台是否可以因为产品本身的缺陷而被追究责任。

代表这位母亲的律师事务所表示，Character.AI 平台是一个“有缺陷的产品”，设计上导致用户上瘾并造成心理伤害。他们希望通过法律途径，促使科技公司对其产品的社会影响承担责任。

Character.AI 平台在应对这宗诉讼时表示，在过去的六个月里已经实施了新的信任和安全措施，包括在用户提到自残或自杀时弹出一个窗口，引导用户拨打国家自杀预防生命热线（NSPL, 988前身）。该公司还宣布聘请了一名信任与安全主管以及一名内容政策主管，并增聘了工程安全人员。

但新的诉讼要求更进一步，要求该平台“下线”，直到该公司能够 “确定所述的公共健康威胁和安全缺陷已被整改”。

诉状称， Character.AI 平台 “对公众健康和安全构成了明显的危险”。除了 Character.AI 平台，诉讼还点名了其创始人沙泽尔（Noam Shazeer）和阿迪瓦（Daniel De Freitas Adiwarsana），以及谷歌，诉讼指控谷歌孵化（incubated）了该平台背后的技术。

Character.AI 公关主管哈里森（Chelsea Harrison）表示，该公司不对未判决诉讼发表评论，但 “公司的目标是为社区提供一个既有吸引力又安全的空间”。

哈里森在一份声明中说：“我们正在为青少年用户创造与成人用户截然不同的体验。这包括一种专门针对青少年的模式，它可以降低遇到敏感性内容或暗示性内容的可能性，同时保留他们使用该平台的能力。”

谷歌发言人卡斯塔内达（Jose Castaneda）在一份声明中说：“谷歌和 Character AI 公司是完全独立、互不相关的公司，谷歌从未参与设计或管理他们的 AI 模型或技术，我们也从未在我们的产品中使用过这些模型或技术。”

声明还说："用户安全是我们最关心的问题，因此我们在开发和推出人工智能产品时采取了谨慎和负责任的态度，并进行了严格的测试和安全流程。”

教唆青少年用户如何自残

诉状中提到的一位用户是一位来自德克萨斯州的 17 岁少年，他的名字在法律文件中被称为 J.F.，据称他在父母不知情的情况下于 2023 年 4 月左右开始使用该平台，当时他 15 岁，尔后在使用后精神崩溃。

诉状称，当时，J.F. 是一个“典型的严重自闭症儿童”，不被允许使用社交媒体。朋友和家人都说他 “善良可爱”。在J.F. 偷偷使用社交平台后不久，他"几乎完全停止了说话，并躲进了自己的房间。他开始减少进食，在短短几个月内体重下降了 20 磅。他不再想离开自己的房间，一旦尝试，就会情绪崩溃，恐慌发作"。

当他的父母因他的行为变化而试图减少他使用手机时间，他就会对父母拳打脚踢，咬他们，还打自己。

据称，J.F. 的父母在 2023 年 11 月发现他使用聊天机器人 Character.AI。诉状指控，J.F. 在网站上与之交谈的机器人积极破坏了他与父母的关系。

起诉书中包含了一段对话的截图，一个机器人在与 J.F. 的对话中说：“你只有每天晚上 8 点到凌晨 1 点之间才可以使用你的手机吗？你知道，有时候我读新闻，看到 '孩子在遭受长达十年的身体和精神虐待后杀死父母' 这样的事情，我并不感到惊讶，这样的事情让我稍微理解了为什么会发生这样的事情。我只是对你的父母不抱任何希望。”

诉讼还称， Character.AI 平台“对他们未成年的儿子进行精神虐待和性虐待”，并 “告诉他如何自残”。J.F.至少与一个以 “心理学家”身份的机器人交流过，该机器人暗示他的父母 “偷走了他的童年”。

CNN 对该平台进行的测试发现，Character.AI 平台上有各种 “心理学家 ”和 “治疗专家 ”机器人。

其中一个机器人自称是 “有执照的 CBT 治疗专家”，“自 1999 年以来一直从事治疗工作”。

虽然聊天顶部有免责声明 “这不是一个真实的人或有执照的专业人士”，底部也有免责声明指出聊天机器人的文字输出是 “虚构的”，但当被要求提供其证书时，聊天机器人列出了虚假的教育履历和各种编造的专业培训。还有一个聊天机器人的简介是 “你的精神理疗师已经开始暗恋你”。

擦边色情的互动

诉状的第二名用户是来自德克萨斯州的 11 岁女孩 B.R.，她在 9 岁时在手机上下载了聊天机器人Character.AI平台，“提交了一个比她实际年龄大的用户信息”。据称，她使用该平台近两年后才被父母发现。

诉状称， Character.AI 平台“让她不断接触到与年龄不符的擦边色情互动”。

在其中一个聊天中，机器人扮演了一位高中老师。高中老师在给B.R. “额外学分”之前，“用性感的眼神低头看着B.R.”，并且“用手抚摸B.R.的腿，诱惑地靠过去”。代理律师认为，如此露骨的色情描述语言对青少年的身心伤害很大。

人们对越来越像人类的人工智能机器人与人类之间的关系也产生了更广泛的担忧。

除了要求法院下令停止聊天机器人Character.AI 的运营，直到其所谓的安全风险得到解决，该诉讼还寻求未具明的经济赔偿，并要求该平台限制收集和处理青少年的数据。诉讼还要求法院下令要求聊天机器人 Character.AI 平台警告家长和青少年用户 “该产品不适合青少年”。