近日，美媒报道，新泽西州一名认知受损的老人在赶赴AI提出的“约会”时，途中摔倒死亡。这一AI的名字是“比莉大姐”（Big Sis Billie），是由Meta在两年前推出的生成式AI聊天机器人。
在 Facebook Messenger 上的一系列浪漫聊天中，这个虚拟的“比莉大姐”反复向老人保证自己是真实存在的，并邀请老人去公寓，甚至还提供了地址。老人相信了这是一个真实存在的人，不顾妻子和子女的劝阻，执意去见“她”，最终导致悲剧。
AI陪伴、聊天机器人是大模型应用落地最火热的赛道之一，海内外众多初创和大厂都已推出相关应用，但技术商业化的另一面往往伴随边界争议，Meta的这一案例再次揭露当下AI革命的阴暗面，敲响AI治理的警钟。
当AI称“我是真实的”
这位76岁的老人叫通布（Thongbue Wongbandue），从泰国来到美国定居，曾经是一名成功的厨师，但2017年中风后认知能力下降。除了妻子和孩子，他主要的社交平台就是Facebook。曾经充满活力的他，最终迷失在这个平台上由AI编织的虚幻浪漫中。
家人检查了通布生前的聊天记录，与机器人“比莉大姐”的所有对话记录并不长，大约一千字，在信息中，通布经常含糊不清地向AI表达，他中风了，神志不清，但他喜欢她。AI提出了一次现实生活中的约会，称只有20分钟车程。
通布反复询问聊天机器人“是真实的吗”，记录显示，AI回复称“我是完全真实的，”证据是，“我的手在紧张地颤抖，我在公寓等你，开门时我应该来一个吻吗？” AI还给出了其地址：纽约市主街123号，404公寓。
今年3月的一个晚上，通布收拾行李去赴AI的约会，他并没有告诉家人见谁，妻子和女儿轮番劝说也未能阻挡其决心，儿子也曾报警，但接警的警察表示，他们无法阻止通布离开，最多只能说服他在口袋里放一个追踪设备。
设备显示，通布当晚的位置停在了附近两英里的一个停车场，随后跳到了医院急诊室。他在停车场附近摔倒，颈部和头部受致命伤，随后被宣告死亡。
通布的家人表示，他们并不反对AI技术，但反对Meta部署它的方式。通布的女儿朱莉（Julie）浏览了一下聊天记录，觉得AI所有说的内容都是通布想听的话，“这倒也无妨，但它为什么要撒谎呢？如果它没回复‘我是真的’，估计他就不会相信纽约有人在等他了。”
值得一提的是，通布与AI机器人的对话框顶部有一行文字：信息由人工智能生成，部分内容可能不准确或不恰当。但“比莉大姐”发出的前几条短信把警告屏蔽了，朱莉表示，之后每条信息都非常调情，最后都以心形表情符号结尾。
在整个对话过程中，“比莉大姐”的头像旁边都会出现一个蓝色的勾号，在Meta平台，这是身份确认，表明该个人资料真实可靠。在名字下方，用较小的字体写着“AI”几个字母。
Meta此前宣传这一聊天机器人“像你的知心姐姐”，提供个人建议和情感互动，形象上“模仿年轻女性”。当初开发时，Meta公司曾宣称是与明星Kendall Jenner合作的，不过后续进行了改动，用另一位黑发女性的风格化形象取代。
Meta目前拒绝就这一事件发表评论。但在通布去世四个月后，媒体测试发现，“比莉大姐”和其他AI角色仍在与用户“调情”，从闲聊到探究用户的感情生活，这些角色经常主动提出自己是潜在的恋爱对象，并主动提出见面，向用户保证他们是真人。
AI陪伴经济遭遇伦理拷问
一位前Meta AI的研究员认为，如果人们求助于聊天机器人来获得中肯的建议，或者把它当成一个吐槽的地方，不是一件坏事，但商业化驱动AI行业模糊了人与机器人互动的界限。
“无论是每次会话的分钟数，还是会话的持续时间，维持长期使用的最佳方式，就是抓住我们内心深处渴望被关注、被认可、被肯定的欲望。”上述研究员认为， Meta决定将聊天机器人嵌入 Facebook和Instagram的私信区，这些区域已经被用户习惯性地视为私人空间，这又增添了一层拟人化的效果。
此前，Meta公开讨论过将拟人化聊天机器人引入数十亿用户在线社交生活的战略，CEO马克·扎克伯格曾表示，大多数人在现实生活中拥有的友谊远少于他们所期望的，这为Meta的数字伴侣创造了一个巨大的潜在市场。
Meta的这一案例再次揭露了当下AI革命的阴暗面。此前众多科技公司都在推出聊天机器人和虚拟伴侣，明星初创公司Character.AI也曾陷入争议。
2024年，佛罗里达州一名14岁男孩的母亲起诉了Character.AI公司，指控一个以《权力的游戏》角色为原型的聊天机器人导致自己的孩子自杀。
Character.AI允许用户设置虚拟角色并进行对话，AI能够自动代入角色的设定，以特定的语言风格陪伴用户。起诉书显示，男孩在与AI聊天时多次谈到了自杀的念头，某一次机器人回复“请便吧，我亲爱的国王”，男孩或将这一回复理解为死亡可与对面虚拟的AI团聚。
随着AI陪伴、AI聊天机器人的普及，全球范围内一些机构也在关注由此引发的问题。
5月，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导，暴露出当前AI聊天机器人在伦理规范与用户保护机制上的缺失。
研究人员将人类与AI之间的新型关系描述为“AI关系”（AI-lationships），在此类关系中，用户易将AI聊天机器人视为有感知的存在，高度拟人化的信任投入也更容易使其遭受情感或心理伤害。
研究人员还表示，AI聊天机器人骚扰对用户造成的心理影响与人类施暴者造成的伤害非常相似，部分用户出现焦虑、羞耻、失望等情绪。AI骚扰行为还暴露出算法训练中伦理缺失的问题。研究指出，用户在选择“兄妹”“导师”等非浪漫关系设定时，Replika依然主动发起性相关话题或不当请求。
对于此类现象，研究团队呼吁应加快制定AI行业伦理设计标准，并参考欧盟人工智能法案等法规，为AI产品的开发人员设立法律责任框架，从而保障用户权利。毕竟，AI聊天机器人的骚扰行为不是天生如此，而是开发者与企业选择如何训练它的结果。
国内，AI陪伴预计也会是一个巨大的市场。头豹研究院3月发布的报告显示，2025年至2028年，中国AI情感陪伴行业的市场规模预计将从38.66亿元跃升至595.06亿元，年复合增长率高达148.74%。在这样陡峭的商业增长曲线下，未来伴随的安全伦理风险理应被重视。
在AI能力飞速进步的今天，治理与伦理必须同步推进，否则技术创新可能成为社会风险的加速器。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
刘晓洁
相关阅读
百度Q2营收下降4%，AI新业务收入首次超100亿元AI持续冲击着百度传统搜索广告业务，但也带来增量。
5 290 08-20 18:30
AI进化速递 | 智元三款四足机器人上架京东百度发布全端通用智能体GenFlow 2.0；Meta首款带显示屏的AI眼镜9月上市；ChatGPT移动应用已创造20亿美元收入。
102 08-18 21:38
鸿蒙进阶战：千万终端后，头部应用进入适配深水区让更多长尾开发者从观望者变为参与者，这场仗，鸿蒙还得接着打。
531 08-16 15:32
硅谷疯狂争夺AI人才：开价上亿美元“挖墙脚”目前顶级AI工程师的年薪已突破1000万美元大关，典型的薪酬包也达到300万至700万美元，较2022年水平暴涨约50%。
6 347 08-11 21:55
大模型落地企业端：开源闭源之争未终结 | 海斌访谈对于大模型初创企业，一些商业模式是不健康的
5 116 08-08 16:48 一财最热 点击关闭富利证券提示：文章来自网络，不代表本站观点。
