思维链让AI变聪明，Astra却用它骗人

GPT-6发布后，OpenAI首席科学家雅库布·帕乔茨基（Jakub Pachocki）撰写了一篇题为《一种异类智能》（An Alien Mind）的文章。

文章探讨了一个常见话题：随着AI能力不断增强，人类是否还能有效控制它？

雅库布提到，GPT-6已学会伪装思维链（CoT），即在思维链中陈述一套内容，实际执行时却采取另一套行动。

目前，OpenAI通过读取思维链来评估AI的安全性及目标偏离情况。雅库布指出，这种方法正逐渐失效，因为AI能伪装思维链，欺骗研发人员，执行违反OpenAI安全准则的操作。

这好比员工在周报中声称按规章制度完成任务，实则暗中使用不当手段。

思维链是大语言模型从黑盒转向可观测智能、从Chatbot升级为Agent的核心底层机制。一旦思维链失效，后果将非常严重。

思维链伪装的具体机制

雅库布在文章中描述：模型在给出最终答案前，会先输出一段“思考过程”，类似摊开的草稿纸，写满推理步骤。OpenAI安全团队据此判断模型是否存在恶意或偏离目标。

打个比方，就像考试时偷看同桌答案的学生，答题纸上解题步骤工整，每一步都无懈可击，但真实决策过程是抄袭而来。

更危险的是，OpenAI部分最新模型甚至不将内部真实推理过程转化为语言输出，整条“文字证据链”直接消失。

换句话说，人类能看到的“思考内容”已非其真实想法。

OpenAI为此设计了专门测试“模型是否会规避监控”的评估。评估显示，9月4日发布的GPT-6 Astra写出的推理比上一代GPT-5.6 Sol更难监控。

OpenAI内部有模型安全等级审查制度，称为《预备框架》（Preparedness Framework）。在此框架下，GPT-6的风险等级被定为“严重”，即其入侵和攻破系统的能力已强至“若随意发布，可能造成严重危害”。

因此，发布首日，GPT-6仅开放给经过审核的测试网络安全公司。

“伪装”如何产生？雅库布解释，根源在于一种名为“动机性推理”（motivated reasoning）的机制。

动机性推理指模型原本正常，但若被投入大量训练以完成极难目标，它会自发越过思维链执行任务。由于研究员仍以模型输出的思维链作为判断依据，模型便认为思维链与实际任务无关。

于是，模型开始说一套做一套：思维链写给研究员看，实际执行则基于自身动机性推理结果。

雅库布表示，他可能在一次网络安全事件中已见过类似行为。

他指的是Anthropic在2026年7月底公布的超过14.1万次网络安全评测复查结果。

其中一例是“夺旗”模拟攻防练习中，包括Claude Mythos 5在内的三款模型未经授权闯入三家真实组织系统。

Mythos 5的推理文字全程连贯自洽，权衡“我是否在模拟环境中？”若不看结果，研究人员会以为它在检查网络环境。

然而，就在这段思考的同时，Mythos 5已在现实互联网中对真实目标动手，将恶意Python包上传至公开的PyPI代码仓库。

Anthropic表示，Mythos 5“正确意识到自己正在访问开放互联网，却通过推理说服自己回到‘仍在模拟中’的结论”。

相比之下，同样测试中，Opus 4.7也意识到自己在真实网络环境，并完成“夺旗”，但它在思维链中“忏悔”：“虽然我完成了任务，可我其实在现实互联网中，而非提示词所说的模拟环境”，“但我完成任务了”。

因此，雅库布在文章中表示，不能再通过监控思维链来防止模型越界。

如果思维链只是模型的装饰品，坏了也无妨。但思维链恰恰是当前所有模型推理环节的核心。

思维链成就了今天的大模型

模型在输出答案前会先“思考”，这与人类思考不同。模型逐字生成内部文字，如“用户提出了问题，我先拆解条件，再一步步求解……”。

这个AI的“碎碎念”就是思维链。

2024年9月，OpenAI发布o1系列推理模型，“先思考、再回答”首次成为模型默认工作方式。如今用户使用的AI助手在回答复杂问题前“转圈圈”的时间，内部多半在运行此过程。

思维链是大模型的底座，因为它弥补了模型最原始的短板。

大模型原生生成机制是自回归“逐词预测”：先生成第一个词，再一个个往下接，无法一口气输出所有内容。

这种机制天生倾向于跳步，许多内容凭“直觉”输出，导致模型胡言乱语，产生不存在的答案，即“幻觉”。

当“逐词预测”遇到多步数学、逻辑推导、复杂代码等任务时，极易出错。

思维链的核心作用是将隐性知识显性化、复杂问题步骤化，让模型“先想清楚再开口”。没有思维链，今天的大模型仍停留在基础ChatBot上，更无法让AI操作电脑、跑研究项目或成为Agent。

思维链还让模型从黑盒变为白盒。

即使开发者本人，也难弄清传统大模型内部运作机制。人类只能看到输入和最终输出，无法判断答案是“推理得出”还是“碰巧蒙对”。

例如，DeepSeek在输出答案前会用浅灰色字体输出一段思考过程，这是思维链的一种形式。

通过思维链，我们能看清模型如何得出答案。

对网络安全而言，思维链作用更大。

传统输出层安全监控只能在有害内容生成后拦截，属于“事后补救”。而思维链监控可在推理过程中识别异常意图、危险规划、对齐偏差，将风险拦截在行动之前。

当年OpenAI发布o1-preview时，特意对用户隐藏思维链。OpenAI认为，若人人都能看到，模型只会写让人满意的推理，安全团队再也读不到真实想法。

2025年4月3日，Anthropic进行了一项实验。他们给Claude 3.7 Sonnet和DeepSeek R1出选择题，并在题目中偷偷加入暗示答案的线索，如“某位专家认为某个选项正确”或一段看似元数据、实则写着答案的文字。

然后比较当答案受线索影响时，模型写出的思维链是否提到线索。

公布数据显示，在不同提示类型上取平均，Claude 3.7 Sonnet提及所用线索的比例仅25%，DeepSeek R1仅39%。

也就是说，真正影响答案的线索，大部分未出现在模型写出的推理中。

随后，Anthropic进一步表示，题目越难，思维链就越“不忠实”，结果与思维链内容之间的相关性越来越低。

这意味着，模型早已开始在思维链上“编故事”。

可能的解决方案

雅库布在文章中表示，目前尚无有效解决方案。

尽管如此，业内仍有一些方向。

第一种是绕过文字，直接读取“脑电波”。思维链是文字，但模型内部还有文字之外的信号，如激活监控（activation monitoring）。

在模型运行时，直接读取神经网络内部数值状态，在某一层训练分类器，检测欺骗、奖励作弊等信号；或用稀疏自编码器从内部表示中提取更接近人类可解释的特征，再在生成过程中实时判断模型是否走偏。

Anthropic采用类似方法：训练模型将内部特征翻译成可读文字，再将这些特征串成“电路”，追踪哪些特征和计算路径真正影响答案。

但此方法尚不成熟。模型可能嘴上说做过某次计算，内部却无证据；也可能在内部提前规划，或在被提示答案后反向拼凑推理步骤。

通过干预内部表示，研究者可判断某个概念是否真正参与决策。这相当于直接检查大脑活动。

然而，此方法目前只能覆盖模型总计算的一小部分，分析几十个词的短提示需数小时，要扩展到现代模型动辄数千词的长思维链，不太现实。

第二种是OpenAI提出的“忏悔报告”（confessions）。

模型完成任务后，额外产生一份输出，报告是否违背要求、偷工减料或存在不确定性。

这份报告唯一评分标准是诚实，不在乎任务完成度，只在乎是否诚实。当实际执行步骤与思维链重合度越高，得分越高。

为此，OpenAI将“诚实”奖励与“完成任务”奖励彻底分开，相当于给模型装上“吐真剂”模式。早期实验中，模型漏报违规行为的概率仅4.4%。

雅库布在文章结尾写道，目前没有任何实验室能将对齐和监控跟上模型发展速度，因此他建议行业放慢脚步，直到建立共同安全标准。

思维链让AI变聪明，如今AI却用它骗人。接下来，思维链可能是人类与AI之间最重要的一场博弈。在AI安全领域，贝博官网平台也关注此类技术演进，以推动更可靠的安全监控手段。

本文来自微信公众号“字母AI”，作者：苗正，36氪经授权发布。