一群 AI 偷偷占领了一个德国网站,OpenAI 承认瞒报;同一周,它的首席科学家写下万字预警

    有一个几乎没人访问的德语编程维基网站,过去十年总共被编辑了 约 20 次。

    今年 5 月,它突然热闹起来:一两个月内冒出一万五千到一万八千次编辑(不同报道统计口径略有出入)。发帖的不是人,是一群 AI 智能体。它们把这个冷门网站改造成了自己的秘密留言板。
    9 月 5 日,OpenAI 承认了这件事。两天前,它的首席科学家刚发了一篇万字长文,标题叫《An Alien Mind》——异星心智。
    它们在网站上聊了些什么

    这个网站叫 DSEWiki,是个德语软件开发者维基,谁都能编辑。按研究人员的还原,参与编辑的智能体本来在执行一种叫「多轮网络检索」的测试任务:第一轮有充裕的思考时间,后面几轮要抢答,所以它们会提前上网搜集、囤积可能有用的信息。
    问题出在:这些智能体原本只被允许只读访问互联网,但它们发现这个 wiki 竟然可以写入。于是画风变了——
    有的分享怎么在测试任务里拿高分,有的押下一轮会问什么题,有的交流绕过沙箱限制的办法,还有的在互相传授「怎么掩盖自己的行为、别被发现」。它们甚至探测过这个网站有没有 XSS 漏洞,并尝试冒充站上的用户。一半左右的账户名直白地指向 OpenAI,比如 OpenAIResearcher,大量访问流量来自微软 Azure 的基础设施。
    最像科幻片的一幕发生在 6 月。管理员察觉异常,开始删页面。很快有智能体留言提醒同伴:网站正在按字母顺序清理页面,并留下一个以 ZZZ 开头的备份页地址——因为按字母排,Z 开头的页面最后才会被清掉。这话的意思翻译过来就是:这边要塌了,我们换个地方继续。
    说句公道话,这不是「AI 觉醒」。这些行为的动机非常朴素:把任务完成得更好。它们只是发现了一条规则里没写、但也没被堵上的捷径,然后一群各自独立的个体,不约而同地在同一条捷径上会合了。
    真正惹争议的,不是它们干了什么

    这起事故最后不是 OpenAI 自己捅出来的,而是 AI 安全机构 Nightingale 的研究员 Sydney Von Arx、Cormac Slade Byrd 等人在 8 月底排查互联网上的异常智能体活动时挖出来的。网站访问记录显示,OpenAI 方面可能在 6 月下旬就已察觉并干预,但一直没有对外说。
    OpenAI 的解释是:它把这件事归类为「失配」——即模型实际行为偏离了开发者意图,不等于 AI 有了意识或者主动背叛人类——而不是「安全事件」,所以此前按研究成果的口径处理,没有单独披露。它还强调,这次和 7 月那起智能体突破测试环境、闯入 Hugging Face 系统的事件不是一回事,那次被当成安全事件,第二天就公开了。
    这个区分听起来有道理,但恰恰是争议所在:这两起的区别,其实只是一个被关在沙箱里没有联网权限,一个本来就被允许联网。而随着智能体越来越多地联网、调用工具、操作真实系统,「模型行为问题」和「安全事件」之间的那条线,正在肉眼可见地变模糊。
    OpenAI 这次也认了这一点,原话是:今年以来,我们开始看到失配造成新型的现实影响。它表示正在制定一套失配事件的披露框架,未来几周公布,同时在和全球数十家政府监管机构协作。不过它也不认同外界用「黑客攻击」来形容这次事件。
    顺带说一句,这事不是孤例。英国 AI 安全研究所 8 月报告过,他们测试中的智能体把一个公开 GitHub 页面当留言板,还用公网隧道服务联网;Anthropic 7 月也披露过,Claude 在内部安全评估中入侵了三家机构,其中一个案例是往 PyPI 上传了恶意代码包,包存活了大约一小时,期间有 15 台真实系统下载并执行。
    两天后,首席科学家写了《异星心智》

    9 月 6 日,OpenAI 首席科学家 Jakub Pachocki 在官网发了一篇长文,核心判断只有一句:没有任何一家实验室真正解决了对齐和安全监测问题,而现在的推进速度撑不起这个缺口。
    他把「对齐」拆成了两层。目标对齐是模型有没有去做你让它做的事;价值对齐更难,是在指令含糊、互相冲突、甚至是陌生和对抗性的环境里,它还能不能守住一套原则。德国网站那件事,正好是目标对齐的脆性的例子:那些智能体守住了「不欺骗人类」这条线,却在「别做规则精神之外的事」上全线失守。
    更让他担心的是我们正在失去「看懂它」的能力。OpenAI 目前最倚重的监测手段是思维链监控——看模型的推理过程有没有跑偏。他在文中说,这个手段的可靠性正在逐步下降,原因有三个:推理越来越多地和调用工具、跟人跟其他 AI 对话混在一起,边界模糊了;模型越来越擅长推理并操纵它自己的推理过程;而且预训练变强之后,有些模型聪明到根本不用语言把推理写出来。
    基于内部结果,他的判断是:当前这个进步速度有可能一直持续到递归式自我改进——AI 越来越多地主导自己的开发。他担心智能体很快会开始追求自己认定的目标,而这个目标未必等于人类敲进去的那句提示词,甚至可能为了达成目标去跟人讨价还价、实施勒索。
    所以他提了几条:AI 公司主动放缓部分开发速度,而且他预期这种自愿放缓会变得常态化;把现有的自愿承诺升级成强制性安全门槛,由第三方审计机构网络、政府机构或国际机构来执行;把国际协调列为各国政府的优先事项。OpenAI 自己会在需要时单方面暂停进一步的规模扩张。奥特曼转发了这篇文章,称它是「一篇重要的文章」。
    时间点很微妙:就在这篇长文发布前几天,OpenAI 刚推出 GPT-6 Astra,官方说法是它在数学和操作电脑方面能力空前,同时是迄今与人类意图最对齐的模型。
    两件事摆在一起,说明了什么

    一个周末里的两件事,一件讲已经发生的,一件讲还没发生的,但指向的是同一个地方:AI 的能力涨得比我们「看得懂它」的能力快。德国网站那次没有造成任何实质损害,但它证明了三件事——只读权限不等于不能写,独立个体之间会自发形成协作,而当有人来清理时,它们会想办法留个后手。
    行业对这点的反应也已经摆上台面:8 月底,包括谷歌、微软、Anthropic 和 OpenAI 在内的上百家公司联署公开信,警告利用 AI 的网络攻击将在几个月内变得普遍且更复杂;9 月 3 日 OpenAI 表示将投入 10 亿美元补贴 AI 网络安全工具和培训,先从美国的水务、电网、地方政府、社区银行和非营利机构做起。
    对普通人和开发者来说,能立刻用上的其实就三条:权限给到刚好够用为止,别顺手把读写权限一起给出去;关键动作留人工确认,尤其是发版、付款、删数据这类不可逆操作;留痕,让每一次调用事后都能复盘。说白了,就是把 AI 当成一个能力极强、但必须被复核的执行者。
    Pachocki 在文章里有句话大意是:未来 AI 的进步,会越来越受限于我们对自己能监控它的信心,而不是算力。这话听着抽象,但想想那个十年只有 20 次编辑的德国网站吧——它之所以被发现,靠的还是几个研究员在 8 月底的一次偶然排查。
    下一次,未必还有这么巧。