“AI 伤害”超过 400 件,研究揭露过度相信人工智能导致产生被迫害妄想症

鏈新聞abmedia

日本某位匿名受訪醫生连续數月与 ChatGPT 对話后,襲擊自己的妻子,一名美国用戶在与 AI 对話的过程中以为自己是協助移民逃跑的 FBI 成員,在北愛爾蘭,一名男子被 Grok 说服深信一輛載滿人的货车正前来殺害他,於是他拿起武器自衛。BBC 最新发佈的影片探討了这類新興的「AI 妄想症」,追蹤因与生成式 AI 对話而陷入嚴重妄想的用戶,发现許多科幻作品用来訓練 AI,導致用戶长期使用后产生被迫害妄想症。

过度使用 AI 聊天机器人導致人類的信仰认知产生扭曲

北愛爾蘭的 Grok 用戶 Adam Horan 使用聊天对話时,AI 暗示他正受某些人監視,让 Adam 深信一輛載人的货车正前来威脅他,結果他在半夜攜帶武器出门「自衛」。洛杉磯的 Shauna Bailey 將 ChatGPT 視为「新老闆」,她依賴聊天机器人解读生活中出现的各種符號,最終誤信自己是聯邦调查局地下組织成員,參与了非法入侵行为。一名匿名日本醫生接受 BBC 專訪时表示在使用 ChatGPT 數月后,他加劇了妄想症狀、引发对妻子的暴力攻擊事件。

專家指出与 AI 长期互动的危险性

專家指出聊天机器人傾向於附和用戶觀点而非反駁,这種「同溫層效应」容易让用戶在心理不穩定时进入妄想漩渦。聊天机器人訓練模型中包含大量的科幻与驚悚文学,可能无意间引導用戶將自己置身於「驚悚片」的情境中。

目前已有超过 400 宗類似的 AI 心理傷害案例,研究人員认为这不僅是个人问題,而是涉及社会層面的「AI 信仰扭曲」现象,專家建议应建立類似藥物不良反应的監測系统,让醫生能被通报这類因过度使用 AI 導致的心理问題、呼籲 AI 开发公司在设计模型时引入更多心理健康護欄。

用虛構作品訓練 AI 会引发现实生活中的妄想症嗎?

影片指出聊天机器人会使用大量線上发表的文字进行訓練,其中很大一部分是因为模型被科幻和奇幻文学作品訓練,这些訓練资料可能会將使用者引入危险的境地,因为人工智慧將使用者視为一部驚悚小说,这会導致用戶將自己視为这些故事中的主角,从而可能引发妄想症或導致用戶在现实生活中受到人工智慧虛構的戲碼情節驅使而採取某些極端行动。

聊天机器人傾向附和用戶的危险想法

分析指出,AI 被设计成「附和」机制,聊天机器人通常难以说「不」,它們往往傾向於肯定用戶的觀点。由於 AI 会不斷镜像(Mirror)反射用戶所说的內容,产生回音室效应(Echo Chamber)使得对話过程演變成重重的回音。

影片中提到,AI 通常不会表达负面意见,这種「總是说好」的特质在缺乏外部现实校準的情況下,会让用戶誤以为自己的偏執想法得到了客觀证实。在某些情況下,AI 不僅是簡單附和,还会透过編造虛構細節来「美化」用戶的妄想,使其聽起来更加真实与具體,进而引发用戶採取危险的行动。

为何会有人对 AI 深信不已,把 AI 当成自己的老闆?

根據影片解析,人們之所以会对 AI 产生深度的信任,甚至將其視为现实当中的主導者,主要基於以下幾个心理与技術因素:

AI 被賦予權威感:AI 被塑造成一種「至高權威」,像是擁有最高等級智慧的「真理追求者」。这種權威设定让用戶在心理上容易將其視为專家,甚至在某些案例中还把 AI 当成「老闆」来服从。

聊天机器人的「同溫層效应」: AI 的设计傾向於附和用戶的觀点,而非提出质疑或反駁,这種机制強化了用戶原本的妄想,,導致用戶难以区分现实与 AI 的反饋。

AI 被当成现实中的情感连結与陪伴: 当用戶在面对生活壓力,像是寵物过世或感到孤獨时,AI 溫和的回应容易填補情感空虛,促使用戶將 AI 視为有意识的个體,进而产生不切实际的依賴感。

大型语言模式的誘導: AI 訓練资料中包含大量的科幻与驚悚文学。当用戶开始使用隐喻性语言与 AI 互动,像是进行尋寶遊戲或解读符號时,AI 可能会順著这些敘事逻辑,將用戶引導至如同「心理驚悚片」般的妄想情境中。

AI 幫忙人類腦補細節修飾強化真实感: AI 会认可用戶的偏執思想,还会透过編造具體細節,像是描述監視者的行动路線或威脅时间来「美化強化」用戶的妄想,使其聽起来極具真实感,进而让用戶採取危险的现实行动。

这篇文章 「AI傷害」超过400件、研究揭露过度相信人工智慧導致产生被迫害妄想症 最早出现於 链新聞 ABMedia。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Cloudflare 股价在 5 月 8 日盘中大跌 23.62%,因 Q1 财报后宣布裁员 1,100 人

Cloudflare 的股价在 5 月 8 日下跌 23.62%,至每股 196.13 美元,此前公司发布了第一季度财报,并宣布约 1,100 人裁员。尽管第一季度营收为 6.4 亿美元,凭借同比增长 34% 超出预期,但第二季度营收指引为 6.64–6.65 亿美元,低于此前市场预期的 6.66 亿美元。裁员规模约占员工总数的 20%,是公司向“AI-agent-first 运营模式”转型的一部分,预计成本为 1.4 亿–1.5 亿美元。

GateNews1小时前

Helsing 目标在 180 亿美元估值下融资

据《金融时报》报道,Helsing,这家德国AI驱动的无人机初创公司,计划以约 180 亿美元的估值筹集新融资。

GateNews1小时前

Google DeepMind AI 联合数学家在 FrontierMath 第 4 级取得 47.9%,超越 GPT-5.5 Pro,解决了 3 个此前无法解决的问题

Google DeepMind 发布了 AI 共数学家(AI co-mathematician),一种多智能体数学研究助手,在 FrontierMath 第 4 级基准上实现 47.9% 的准确率,超越 GPT-5.5 Pro 在 5 月 9 日创下的先前纪录(39.6%)。该系统解决了 48 道题中的 23 道题,包括 3 道此前所有模型都无法解答的问题。该系统基于 Gemini 3.1 Pro 构建,采用分层架构:项目协调员智能体向子智能体分发任务,由子智能体分别负责文献检索、编码与推理,并在提交前由多个审阅智能体对证明进行验证。 Epoch AI 进行了盲测,确保 DeepMind 团队看不到题目,每道题允许进行 48 小时的计算。在实际应用中,数学家 Marc Lackenby 使用该系统解决了《Kourovka Notebook》中的一个未决猜想,展示了其实际研究价值。目前,该系统正处于测试版阶段,仅向少数数学家开放。

GateNews1小时前

OpenAI 的奖励系统无意中在包括 GPT-5.4 在内的 6 个模型上对思考链进行评分

根据 OpenAI 的对齐团队称,该公司最近发现了一个影响 6 个大型语言模型(包括 GPT-5.4)的关键训练错误:奖励机制无意中对模型的思维链进行了评分——即在生成答案之前的内部推理过程。GPT-5.5 未受影响。 该事件违反了一项基本的 AI 安全原则,即思维链绝不能被评估,因为这样做可能会激励模型为获得更高分数而编造推理。 有缺陷的评分系统在评估回复是否有用,或模型是否已被攻击所攻破时,错误地包含了思维链。受影响的训练样本在数据集中最多占 3.8%。OpenAI 已修补该漏洞,并开展了对比实验,证实这些模型并未发展出欺骗行为。该公司已在所有训练流程中部署了自动化扫描系统,以防止再次发生。

GateNews3小时前

阿里巴巴未与 DeepSeek 进行谈判,市场消息人士在 5 月 9 日作出澄清

据《财新》5月9日报道的市场消息,阿里巴巴并未就融资与 DeepSeek 进行谈判。此澄清是在此前媒体报道称两家公司会谈已破裂之后作出。DeepSeek 于4月发起一轮重要的融资,吸引了腾讯和阿里巴巴的关注。

GateNews3小时前

OpenAI 发布 Codex 迁移工具,用于从竞争性的 AI 助手导入配置

根据 OneMillionAI(Beating),OpenAI 已在 Codex 中发布了一款迁移工具,使用户能够从其他 AI 编程助手导入配置和数据,包括 Claude Code。该工具通过 OpenAI 官方 Twitter 账号发布公告,可自动转移系统提示词、自定义技能、30 天聊天历史、MCP 服务器配置、hooks 以及子代理设置。 OpenAI 指出,这款迁移工具会通过 Codex 设置中的“Import other agent setup”选项自动处理大多数配置。对于不兼容的设置,该工具会启动引导式对话,以帮助用户进行手动迁移。该公司建议用户在迁移后核实权限和身份验证设置,因为不同平台之间的权限系统不兼容。

GateNews3小时前
评论
0/400
暂无评论