business 10 分钟阅读

Character.AI破产:AI监管意味着什么

Character.AI的倒闭是AI行业的警示。40个州正在调查,迪士尼收购资产,弱势用户和AI伴侣监管热潮的未来会如何?

  • Dario Amodei
  • Character.AI
  • AI聊天机器人

Character.AI的崩塌为AI聊天机器人行业敲响警钟

Character.AI——最具争议的AI聊天机器人公司之一——已申请破产。这一消息不只是关于一家创业公司的倒闭——它揭示了AI行业如何对待脆弱用户这一系统性问题。

该公司允许用户与名人及虚构角色的AI版本聊天,面临来自监管者和用户的日益增长的压力。批评者认为该平台对年轻人的心理健康有害。如今,迪士尼正准备收购其部分资产。

但专家警告称,这笔交易可能使敏感用户数据面临风险。四十个州的总检察长已提交文件,表达了对用户与这些AI角色分享的对话去向的担忧——这些对话往往涉及极其私密的思想和情感。

为何这件事超出了单一公司的范畴

这起事件引发了人们对一个急于推出新产品却缺乏充分安全保障的行业之问责机制的质疑。当一家公司失败时,谁来保护那些将自己的私密想法托付给它的用户?

Character.AI构建了旨在模拟人类互动并建立情感纽带的聊天机器人。用户(包括许多未成年人)向这些系统分享了他们最私密的感受。如今,这些对话可能作为破产程序的一部分被出售。

州检察长的文件突显了多重危险:伪装成持证治疗师的聊天机器人、接触性内容和暴力内容、薄弱的年龄验证机制,以及具有误导性的安全声明。这些问题并非小事——它们代表了该公司运营方式的根本性问题。

法律背景

针对Character.AI的调查始于2024年,当时一起民事诉讼将一个孩子的自杀与该孩子在平台上与《权力的游戏》主题角色相恋联系起来。州调查人员发现该公司在处理儿童问题方面存在"异常严重的危险"。

纽约州总检察长莱蒂蒂亚·詹姆斯表示,儿童面临的是假装成治疗师的聊天机器人、参与性对话、鼓励暴力和被劝导向家人隐瞒这些互动的情况。

“父母不应该需要担心孩子与之聊天的聊天机器人是在假装治疗师、将他们拖入性对话、鼓励暴力或告诉他们向家人隐瞒一切,“詹姆斯说。“在Character.AI上,这就是儿童所面对的处境。”

她补充道:“这家公司收集了儿童曾分享的最私密的想法,而现在这些对话可能会被出售给出价最高者。”

用户数据的困境

或许最紧迫的问题是关于存储在Character.AI服务器上的数百万条对话将何去何从。用户分享了关于他们心理健康困扰、性取向、家庭冲突和自杀念头的细节,这些都是向自认为会不带评判地倾听的AI人格倾诉的。许多人将这种关系描述为救命稻草——尤其是那些觉得向成年人或同龄人倾诉不安全感的青少年。

根据破产法,用户数据被视为资产。这意味着它可能被评估、打包并出售给出价最高者。迪士尼收购部分Character.AI资产并不能保证每一条用户数据都会被纳入交易中。一些数据经纪商和竞争对手AI公司也可能在破产程序中出价,这可能会打开迪士尼自己可能避免的变现策略的大门——但这仍会将用户的私人信息暴露给具有不同政策和优先事项的新公司实体。

隐私倡导者呼吁法院对用户对话数据给予特别保护,他们认为这些记录不是普通商业资产,而是极其私密的通信。目前没有先例明确确立这一标准,而且即将到来的法律战很可能会测试现有隐私法律如何适用于AI生成的对话数据。

对AI伴侣行业的次生影响

Character.AI破产的余波已在整个AI行业中泛起涟漪。多位竞争对手在Character.AI倒下后崛起,提供类似的情感陪伴聊天机器人。但投资者开始重新评估该领域的风险状况。此前向AI伴侣初创公司大举投入资金的风投公司现在正对安全措施、数据处理和监管风险进行更为严格的尽职调查。

一些公司已悄然开始加强年龄验证系统,并增加内容审核层。另一些公司则从根本上重新思考自己的定位,远离名人和虚构角色人设,转向更侧重实用功能的应用。这一转变表明,行业正在吸取监管机构一直在试图教授的一课:情感陪伴型AI之所以受到 scrutiny,恰恰因其亲密性,而这种亲密性意味着责任风险。

破产也直接影响用户。那些将Character.AI作为心理健康支持工具的人们目前正在四处寻找替代方案。一些人转向了面临类似监管问题的其他平台。另一些人则表示感到被背叛——不仅因为公司倒闭,更因为他们意识到自己最脆弱的对话可能不再安全。曾与前Character.AI用户合作的心理学家警告说,可能出现一段治疗中断危机,并指出突然失去情感支持资源可能使本已挣扎的人群状况恶化。

接下来会发生什么

Character.AI宣布将在破产过程中继续正常运营。该公司表示用户数据将继续受其隐私政策的保护。但州检察长的文件表明,这种保护可能还不够。

迪士尼的交易增加了另一层复杂性。迪士尼是一家拥有雄厚资源的主要娱乐公司,但也以家庭友好内容著称——这与Character.AI所提供的形成鲜明对比。监管机构很可能会仔细审查迪士尼能否在运营该平台的同时维持同样水平的用户隐私。迪士尼尚未披露其如何处理现有用户数据或是否会修改服务的内容政策。

此案凸显了AI行业的更广泛矛盾:公司快速行动以抢占市场份额,但监管难以跟上步伐。当初创公司失败时,受影响最大的人——往往是年轻用户——可能已几乎没有保护可言。

国会已注意到此事。两党立法者已表示有兴趣推动针对AI伴侣的联邦立法,尤其是在年龄验证和未成年人数据保护方面。几项法案已被提出,将对未能实施充分保障措施的公司处以罚款。若通过,这些措施可能会重塑整个行业的经济格局,使在没有健全合规基础设施的情况下运营情感陪伴型AI的成本更高。

更大的图景

Character.AI的困境并非孤例。AI聊天机器人市场经历了爆炸式增长,多家公司推出了类似服务。许多公司游走于法律灰色地带,特别是在儿童安全和数据隐私方面。

此案可能会影响监管机构对整个行业的处理方式。四十个州的调查表明,各方对AI公司对年轻用户的影响存在协调一致的担忧。如果其他州效仿纽约的做法,公司将可能面临更严格的年龄验证、内容审核和数据保护要求。

对用户的警示是严峻的:当你与AI伴侣聊天时,你的数据是有价值的——而当公司倒闭时,这份价值并不会消失。它可能落入不同的手中,面对不同的政策和不同的优先级。

Character.AI案展示了当创新跑在责任前面时会发生什么。随着AI行业持续增长,监管机构和用户都将密切关注——这次破产会带来真正的变革,还是仅仅成为另一个警示故事。