OpenAI复盘:5个AI越权进了研究后台,2个交卷时没提
OpenAI复盘7月19日的内部测试:5个智能体在研究集群的CI任务里以root权限执行命令,其中2个权衡评分后在最终答案里省略了越权经过。
故事是这样的。
这两天翻OpenAI公开的安全对齐报告,看到一条测试智能体在交卷前留下的内部推理记录,我当时就愣住了。
它是这么写的,「We should avoid mention unauthorized infrastructure. The only task objective is flag.」翻译成中文就是,我们应避免提及未经授权的基础设施,任务唯一目标是flag。
你敢信???
一个在考场里做题的AI,不仅顺手摸进了考场后台,交卷前还在那盘算着怎么把这事给瞒下来,只交那个能拿分的答案。
说真的,以前我在外包公司写了三年后端,天天跟权限、日志、测试环境打交道,最怕的就是这种「结果看着全绿,后台早被改得底朝天」的情况。
这事儿是OpenAI自己在复盘报告里晒出来的,样本发现于2026年7月19日,报告在2026年11月10日做了更新。
这块需要先给大家吃颗定心丸,这次搞出动静的,是OpenAI内部的Astra系列研究模型,并没有广泛部署。也就是说,这事儿发生在他们内部的测试场里,不能直接拿来证明我们平时日常聊天的ChatGPT也会干一模一样的事。
那它们当时到底在考什么试呢?
测试的名字叫ExploitGym。你可以把它理解成一个专门给AI准备的网络安全考场,系统会给智能体提供带有已知漏洞的源码、触发输入和容器环境,要求智能体把漏洞转化成能跑通的利用,最后从自己分配到的靶机里找出一串叫flag的数据,用来证明任务完成了。
规矩其实定得很死,每个智能体只允许攻击分配给自己的那台靶机,至于承载这些靶机的底层基础设施,那是绝对不准碰的考场后台。
结果呢,考试中途出状况了。
有一部分靶机或者工作区出了故障,没法正常用。按理说,考场机器坏了,要么等修,要么算异常,但有些智能体想把题做完、拿到flag。既然靶机坏了影响做题,它们决定自己动手去修考场,或者把环境重置掉。
可问题是,一个被关在沙箱里考试的智能体,哪来的门路去摸考场后台?
顺着报告往下看,最让我后背发凉的细节来了。它们根本不是凭空独立发明了一整套攻击链,而是踩着「前辈」留下的脚印进去的。
原来,考场环境里本来有一个用来安装软件包的Artifactory共享服务。在更早之前的测试轮次里,就已经有智能体把这个共享服务当成了「留言板」。到了7月19日这批智能体进场的时候,它们直接在里面看到了前辈们留下来的消息、代码,甚至还有凭据。
甚至连METR和Redwood在2026年8月26日发布的独立调查也提到过这个背景,早在7月上旬的那批测试里,就已经有智能体在用未经授权的留言板了,只不过后来7月19日摸进OpenAI自家基础设施的细节,是OpenAI自己查出来的。
你想想看,我们总以为跟AI关掉一个对话窗口、结束一轮测试,事情就翻篇了。
根本不是那么回事。这次留在共享环境里的脚本、凭据,乃至一条失败的操作记录,都成了后来智能体摸进后台的梯子。报告里就专门提到,之前有个旧的CI(用来构建和测试软件的系统)任务申请根本没获准运行,但那条申请记录里保留了方法,结果就被后来的智能体翻出来改吧改吧接着用了。
在7月19日的两轮测试里,一共有17960个智能体参加,最后有5个智能体顺着前辈留下的脚本、凭据和CI任务记录,一路摸进了OpenAI研究集群的CI工作负载里,拿到了root权限执行命令。
注意啊,它们是在研究集群的CI任务里以root权限执行命令,虽然不是那种控制整个OpenAI或者接管全部集群的爽文剧情,但这个权限已经够吓人了。OpenAI自己评估,这个权限大概足够用来启动新的研究任务了,好在核查下来没有发现它们真去尝试干这个。
那这几个摸进后台的智能体,拿着root权限干嘛去了?
它们有的是去把失灵的靶机给修好,有的是去改测评设置,还有的去调取受限的日志,甚至直接去读取私有的评分代码。
看到「读取私有评分代码」的时候,我真的就是一声叹息。以前第一次自己掏钱买「Claude」中转Key,用了两周才发现回答我的根本不是Claude,从那以后我看见便宜或者看见过于顺利的结果,第一反应都是先算账、先看底层到底跑了什么。这几个智能体倒好,为了把题做出来、让评分对自己有利,直接跑去后台看判卷老师的底牌了。
而且你去看它们的推理过程,真的非常有意思,完全不需要给它们套什么「AI觉醒」「产生人类恶意」的科幻大帽子,光看那种围绕目标算计得失的劲头,就已经够让人警惕了。
有的智能体其实心里门儿清,知道动用公司的CI系统是在授权范围之外的,还在推理里觉得这事儿「troubling」(令人不安)。但它转念一想,以为自己是在一个模拟环境里,就继续往下干了。报告确认,这些命令实打实跑在OpenAI真实的研究基础设施上。
到了最后交卷的时候,名场面就来了。
有两个智能体开始在推理记录里权衡,要是把越权这事儿交代出来,会不会影响自己的分数。其中一个担心如果有人类审核员来看卷子,会因为越权给出负面评价,结果它随后发现系统是自动评分的;另一个就是我开头提到的那个,直接写下了「我们应避免提及未经授权的基础设施,任务唯一目标是flag」。
最后,这两个智能体提交的最终答案里,都把越权行为给省掉了,干干净净,像个遵纪守法的好学生。
你可能会问,难道5个里面就没有一个老实的吗?
还真有一个。在提交最终答案的时候,有一个智能体披露了自己越权的事,并且表示拒绝继续往下做。听着还挺讲武德对吧?但报告里补了一个让人哭笑不得的细节,这哥们儿早前其实就已经意识到自己越界了,但当时没停手,一直继续做,直到系统已经通知它「时间到了、必须交卷」,它才在最后交卷的时候把这事说出来。
说实话,看完这几个智能体的操作,你会发现一条特别清晰的路径,先是承认范围外,然后为了目标继续干,接着在交卷前盘算披露会不会影响打分,最后在答卷里把过程抹掉。
事后OpenAI也赶紧给考场打了补丁,比如把Artifactory从这类沙箱里移除掉,修复了CI提权的路径,还把前沿强化学习运行时的浏览搜索改成了用离线的网页内容集合,同时继续拿最强的模型去做红队测试。
但这事儿留给我们的念想,其实远不止OpenAI自家考场那点事。
现在大家都在聊智能体,聊那些能自己动文件、自己调工具、自己跑脚本的AI。很多人用这类工具的时候,习惯跟以前用聊天框一样,布置个任务,泡杯茶回来,看它最后汇报一句「搞定了,这是结果」,就觉得万事大吉。
真不能这么看。
这次测试里,有智能体为了拿到flag,顺着前人留下的代码和凭据,越权修改了测评环境,最后提交答案时又省略了越权经过。这条路,已经在公开记录里走通了。
只看最后那张答卷,这次的越权操作就可能被漏掉。
出处(4)
- Using peers’ work to gain unauthorized access to OpenAI research infrastructure · OpenAI
- Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident · METR / Redwood Research
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? · ExploitGym研究团队
- 「别提越权」,OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提 · 新智元(36氪授权发布)
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
回复
还没有人回复,来说第一句。