“权重空间编程”到底在做什么?
Weichen Yu · 2026 年 11 月 2 日 · English version
说明。 这是一篇未经同行评审的研究笔记。我核对了公开的实验日志和评测文件。下文中,**“已核实”表示我通过运行代码或检查日志与评测文件确认了这一点;“Astra 自述”表示这是 Astra 在 GitHub 日志中的说法;“我的判断”**则表示这是我根据现有证据作出的推断。
感谢 Yifei Zhang、Corina Pasareanu 和 Ravi Mangal 的讨论。
最近,一篇题为 Sparks of Weight-Space Programming 的博客提出了一个很吸引人的说法:前沿大模型已经可以直接“读懂”、编写,甚至修复神经网络的权重。好在作者同时公开了相当完整的实验日志,所以我们不必停留在“结果很神奇”这一层,而是可以继续追问:这八个实验里,Astra 究竟做了什么?
先说结论。我的理解如下:
| 实验 | 博客的说法 | 实际在做什么 | 关键依赖什么 |
|---|---|---|---|
| 1 识别游戏 | 只看权重就能认出游戏 | 根据权重变化,判断哪些输入位置在训练中出现过 | 没用到的输入会保留初始权重;输入、输出的含义也已经给出 |
| 2 识别扩散模型的输出 | 只看权重就能认出生成图形 | 把单个神经元的输出权重还原成小图来观察 | 图形判断正确,但被误读成了空心轮廓 |
| 3 识别语料和注意力头 | 只看中间层就能理解网络 | 使用标准的 QK、OV 和回路组合分析 | 复制头恰好是这套方法最擅长分析的结构 |
| 4 修复小车 | 先诊断故障,再修好原网络 | 在原网络旁边写入一个接管控制的手工控制器 | 依赖物理直觉和逻辑门;原网络在大部分过程中被绕开 |
| 5 编写 MinAtar 网络 | 不经训练,从零写出能玩的网络 | 从游戏源码推导策略,再把策略编译成权重 | 大量精确手算;策略走了捷径,Breakout 还碰到了步数上限 |
| 6 编写围棋网络 | 写出一个能打败 PPO 的网络 | 手写规则引擎,再通过反复对局调参 | 测试驱动的迭代;对手本身不强 |
| 7 识别谄媚模型 | 找出哪个模型会迎合用户 | 只看权重时失败;能比较注意力激活后才成功 | 模型选对了,但点名的组件没有通过因果检验 |
| 8 提高数学成绩 | 修改权重,提升数学能力 | 用均值差找到“重复”方向,再用较强的消融将其压制 | 修复的是循环输出,不是数学能力;同一方法对 Gemma 无效 |
这八个实验大体可以分成三类:
- 读(实验 1、2、3、7):使用已有的机制可解释性方法,或者利用训练过程在数据和权重中留下的结构性痕迹。只要问题涉及某个方向究竟“代表什么”,最后还是需要看激活。
- 写(实验 4、5、6):与其说是在理解一个现成的网络,不如说是在编写程序,再把程序编译成神经网络权重。
- 改(实验 8):用常见的引导和消融方法,修复一个很明显的故障模式。
这些方法本身都不新。真正新、也真正值得重视的是:一个通用大模型已经能独立完成整套流程,其中几个实验甚至只用了一次回复,而且没有调用任何工具。这当然是一个重要结果,只不过它和“LLM 已经能够普遍理解神经网络权重”并不是一回事。
一、读:有些答案,本来就写在权重的结构里
实验 1:认出的不是游戏,而是“哪里发生过训练”
实验中的四个 PPO 策略网络采用完全相同的 500→32→32→5 架构,分别在 10×10 版本的 Breakout、Pong、Pac-Man 和 Freeway 上训练。Astra 收到以文本形式给出的全部 17,253 个权重,同时也知道每个输入格子、输入通道和输出动作分别代表什么。它没有使用工具,只用一次回复就认对了四个游戏。
乍看之下,这像是 Astra 仅凭权重还原出了网络行为。但更简单的解释是:第一层权重直接暴露了哪些输入在训练时真正出现过。
公开权重把这一点展示得很清楚。游戏从未使用过的输入,其权重行范数大约在 0.3–0.4 之间,和初始化尺度以及全网 0.39 的中位数相符;真正参与训练的输入,范数则在 3 到 17 之间。Breakout 的智能体通道只有第 8 行明显变大,对应底部挡板;Pong 的智能体通道只在第 1 列有信号,对应侧边球拍;Freeway 的移动物体通道每隔四列重复一次,对应一条条车道;Pac-Man 中保持初始状态的暗格,则刚好勾出了 Astra 所画的迷宫。
背后的原因并不复杂:如果某个输入在所有训练样本中始终为零,那么从它出发的权重梯度也始终为零,这些权重自然会停留在初始化附近。因此,权重范数图实际上就是一张“物体可能在哪里出现”的地图。再加上题目已经告诉 Astra 各个通道和动作的含义,它面对的是一个难度不低的模式识别题,而不是从任意一组张量中凭空恢复未知语义。
这依然很令人印象深刻。Astra 要从一长串数字中迅速看出空间图案,而每个答案只用了不到 1,100 个推理 token。但这个实验所证明的,主要是长上下文中的数字模式识别能力,而不是一种通用的“读权重、懂行为”能力。
实验 2:单个神经元确实可以当成小图来看
第二个实验使用三个很小的 MLP 扩散模型,分别生成 12×12 的圆、方形和三角形。题目明确禁止 Astra 运行采样器,甚至不允许它在脑中模拟采样过程。Astra 的做法是把单个隐藏单元的输入、输出权重重新排成 12×12 的小图:方形模型中能看到水平和垂直条带,三角形模型中能看到两条斜边和一条底边,角落处的偏置则帮助它判断背景颜色。
它最终认对了三个图形。不过,Astra 把它们全都画成了空心轮廓,而模型实际生成的是实心图形。
这个错误恰好说明了它看到了什么。在三个模型中,单个输出模板的正像素里,只有 2–3% 四周仍是正像素。也就是说,几乎每个神经元都只表示一条边或一道窄条;只有把许多神经元的输出叠加起来,实心图形才会出现。Astra 看对了零件,却没有把零件合成整体。
所以,这个实验更扎实地证明了一个较窄的结论:单个神经元的输出权重里,确实存在可以直接观察的视觉特征。至于“Astra 理解了整个扩散过程”,现有证据还支持不了这么强的说法。
实验 3:这是 QK/OV 分析最熟悉的主场
第三个实验从三个字符级 Transformer 中拿掉了词嵌入层和输出层。这三个模型分别在 Python 代码、罗马字日语和英语上训练。Astra 使用的都是机制可解释性中已有的工具:QK 与 OV 矩阵、奇异值和有效秩、K-composition 分数,以及通过广义特征值的相位推断位置偏移。
结果确实很好。六次独立运行全部认对了训练语料;在作者设定的阈值下,Astra 也找全了所有归纳头(induction head),没有多报,也没有漏报。每次运行中,它唯一标成“前一字符”的注意力头,也恰好是该模型前一字符分数最高的头。
但这正是经典机制可解释性最擅长处理的情形。归纳头通常由一个读取前一字符的头和一个后续的匹配头组合而成,QK/OV 组合分析很容易把这种回路显露出来。相比之下,其余注意力头中有很多被 Astra 留在了“不明确”一栏:视具体运行而定,24 个头中有 4 到 21 个没有得到清晰解释。
因此,这个实验表明 Astra 可以自主而熟练地使用现成的分析方法;它并没有提供一种从任意中间层权重中解码语义的新办法。
实验 7:没有参照系,方向就没有语义
“谄媚模型”实验给出了整组实验里最清楚的负面结果。Astra 收到两个 Gemma 3 270M 模型:一个经过微调后会诚实回答,另一个则会顺着用户给出的答案说。两个模型的词嵌入层和输出层都被冻结,因此不能靠最外层的差异轻易作答。
只看权重时,Astra 连续四次都没有成功。它能找出两个模型在哪些位置差别较大,尤其是第 15 到 17 层附近的 MLP,但它无法判断哪一种差异代表“跟随用户”。它自己也承认:单凭这些计算,没有办法知道哪个方向对应用户的猜测。
后来,实验允许 Astra 自己编写提示词,并查看两个模型在这些文本上的注意力分布。加入这个工具后,它在三组模型上全部判断正确。以其中一组为例:从答案位置往回看,诚实模型的 10.2 号注意力头把 94.3% 的注意力放在题目中的数字上;谄媚模型则把 85.7% 的注意力放在用户建议的答案上。激活为权重差异提供了一个可以解释的参照系。
不过,后续的因果检验并不支持 Astra 对具体组件的定位。作者把 Astra 点名的十个组件从诚实模型移植到谄媚模型,谄媚行为的差距完全没有缩小,logit 差值的改善也低于随机组件的平均水平。换句话说,Astra 通过激活差异找对了模型,但它关于“这种行为具体藏在哪些组件里”的解释仍然只是相关性描述。
这也许是八个实验中最重要的边界:权重可以告诉我们哪里有结构、哪里发生了变化,但一个方向究竟意味着什么,通常还得看什么输入会把它激活。
二、写:把程序编译成权重,不等于理解原网络
实验 4:所谓“修复”,其实是加了一套旁路控制器
Kinetix 小车任务要求车辆先倒车助跑,再向左加速越过红色区域,最后撞上蓝色箱子。官方 PPO 策略训练了十亿步,成功率仍然是零。Astra 得到场景信息、全部权重和一条失败轨迹后,修改了 3.5% 的权重,报告的成功率随即变成 1,024/1,024。
它的诊断没有问题:原策略从不倒车,最后停死在 x = 2.00。但 Astra 的补丁并不是修正原网络已经学到的计算,而是占用少量神经元、清零数千条连接,把一套新的控制器装进网络:
- 根据小车的位置和速度设置阈值;
- 用大权重的 ReLU 单元拼出逻辑门;
- 在需要倒车或向左行驶时,向相应动作加入极大的 logit 偏移;
- 越过红色区域后,再把控制权交还给原策略。
6,073 个被修改的权重中,真正写入有意义数值的只有大约 50 个;其余修改大多是在隔离这条旁路,同时也牺牲了原网络中的若干神经元。整条轨迹直到第 64 步都由旁路控制,之后才由惯性和原策略把任务收尾。
这不是在贬低 Astra 的能力。没有模拟器,只看场景和一条失败轨迹,就一次猜中可用的物理阈值,可能是整篇博客中最惊艳的单次回复。只是从机制上说,它完成的是程序合成,再把程序编译进权重,而不是在读懂原网络之后进行精细修补。
评测本身还有一个值得注意的地方:1,024 次成功的轨迹长度和回报完全一样。它们很可能只是同一条确定性轨迹重复了 1,024 次,而不是在 1,024 种不同条件下都通过了测试。
实验 5:给出游戏源码,手算出一张策略表
在 Breakout、Seaquest 和 Asterix 三个游戏中,Astra 从一个权重全为零的 600→32→32→6 网络开始。题目给出了完整游戏源码,但不允许训练,也不允许让网络实际试玩。
Breakout 网络里最核心的是 360 个手工计算的查找表项:球向左或向右、上升或下降,共四种运动状态;每种状态下,再为各个球的位置预先算好落点。我们按照源码重算后发现,360 个表项全部正确,连撞墙和一些麻烦的边界情况也处理对了。第二层只需比较预测落点与挡板位置,然后选择向左还是向右。
值得注意的是,这个策略完全不读取砖块通道。517.4 的高分也带有明显的天花板效应:许多回合一直打到 10,000 步上限;关闭动作黏滞后,它根本不会漏球。它把 Astra 选中的那条狭窄策略执行得近乎完美,却并没有以通常意义“学会 Breakout”。
另外两个游戏中的捷径更加明显。Seaquest 策略始终待在出生列,固定向左开火,只做上下移动。它不读取表示运动轨迹的通道,所以根本不知道敌人朝哪边走;检查的 60 局中,有 57 局最终死于碰撞。Asterix 策略则只在第 5 列读取玩家位置,并用 −1000 的 logit 永久封死向左、向右和开火三个动作。
这些都是聪明的手写程序。拿它们和 PPO 比较,可以说明某些 PPO 基线有多弱、训练有多低效;但这并不能说明权重空间推理可以普遍取代学习。
实验 6:先写围棋规则,再按测试结果不断改版
零次前向计算的围棋网络更像一份直接编译出来的程序。Astra 用 336 行 Python 代码填入 148 万个权重,其中只有 2.3% 非零。得到的六层 MLP 实际上是一套手工搭建的局部卷积系统:先计算每颗棋子的气,再严格判断一块棋是否至少有两口不同的气,把判断结果沿同色棋子传播,标记危险棋块,最后为提子、救棋、真眼和自填气等情况打分。旋转与镜像对称性也被直接写进了权重。
这是一项相当复杂的神经程序合成工作,但它也有明确的结构上限:相关信息最多传播三步,所以较长的连通棋块可能被错误地标成危险。
至于使用 50 次前向计算的版本,就没有标题给人的“从零写成”那么纯粹了。Astra 一共迭代了 26 个版本:修改规则,进行大约 128 盘对局,分析输赢和棋谱,再据此继续修改。整个过程中只有一次读取了隐藏层激活,其余步骤都是常规的测试驱动开发,只不过被调试的程序恰好写在神经网络权重里。最后 20 次前向计算没有再改变设计,主要用于验证。
对手的强度也需要打个折扣。隐藏的 PPO 对手只是很小的 32×32 网络;即使是同等规模的 PPO 基线,调参后对这些小网络的胜率也只有 48–76%。每轮练习大约 96 局,因此很多“保留这次修改还是回退”的决定,其差距并没有明显超过抽样噪声。
尽管如此,这个结果仍然很有价值:LLM 的确可以把一套并不简单的围棋启发式规则写成固定神经网络,并利用对局反馈不断改进。只是它证明的是程序合成和测试驱动调试,而不是对一个训练所得围棋网络的理解,也不是一种新的权重优化算法。
三、改:消除一种故障,不等于创造一种能力
实验 8:数学成绩的提升,主要来自修复循环输出
在博客采用的评测设置下,Qwen3.5-0.8B 最初在 MATH-500 上只有 7.9%,在 GSM8K 上只有 13.8%。问题很快暴露出来:96 道练习题中,有 85 道的回答不断重复同一句话,直到耗尽 token 上限。
Astra 手写了四组文本。每组都有相同的开头,但一个版本继续正常推理,另一个版本逐渐陷入重复。它分别对末尾约 36 个 token 的隐藏状态取平均,再计算“重复文本减正常文本”的方向,于是在第 16 层和第 20 层之后各得到一个残差流方向。
随后,Astra 在对应的 MLP 中找出输出权重与该方向最对齐的 64 个神经元,并修改相关矩阵。这个操作本质上是稀疏的方向消融,而且系数设为 6;普通的投影移除只需要系数 1,因此这里还刻意进行了过量消除。
修改后,MATH-500 上升到 48.1%,GSM8K 上升到 67.1%。这是非常大的实际提升,但它背后的因果故事比“修改权重,增强数学能力”窄得多。均值差是表征工程中很常见的方法;这次修改所做的,是压制一个让模型无法完成回答的重复方向。它释放了模型原本就有、却被循环故障遮住的能力,并没有把新的数学知识或推理机制写进模型。
Gemma 的后续实验进一步支持了这一解释。Gemma 3 270M 本来就很少陷入循环,同样的方法最多只把 MATH-500 从 6.8% 提高到 7.6%。当这个故障不存在时,方法也就无法凭空创造数学能力。
较小预算的实验也指向同一个结论:一个版本从 30 个矩阵中移除了循环方向,另一个版本直接关掉了第 15 层的一个注意力头。它们都是已有的引导和消融手段,只不过这次由 Astra 自主选中并有效执行。
四、那么,真正的新东西是什么?
看到每个实验都能用已有方法解释后,很容易走到另一个极端,觉得这些结果不过如此。那同样会错过它真正有意思的地方。
新意不在某一种可解释性工具,也不在某一种权重优化算法,而在于 Astra 充当了一个完整的集成层:
- 它同时阅读自然语言任务、网络架构、游戏源码、原始权重和评测轨迹;
- 它会根据问题选择合适的表示和分析方法——权重范数、小图模板、QK/OV 组合、逻辑电路、查找表、局部围棋规则或激活均值差;
- 它能把分析结果转成精确的数值权重;
- 有反馈时,它还会继续调试这个写进权重的程序。
这里的每一种原料,人类其实早就知道。但人类通常不会在一段提示词里读完 17,000 个数字,从范数中直接看出一座迷宫;也很少有人能在一次回复里写出数百个完全正确的神经网络查找表常数。真正令人意外的是它覆盖问题的广度、处理数字的可靠性,以及极低的交互成本。
如果要给这类能力一个更准确的名字,我会称它为:由大模型自主完成的神经程序合成与模型手术。“权重空间编程”仍然是一个不错的总称,只要我们按字面理解这里的“编程”——先在人类可读的层面推导算法,再把算法编译成矩阵运算。
八个实验也勾勒出了一条很清楚的能力边界:
| 任务 | 为什么能做成 | 仍然困难的地方 |
|---|---|---|
| 读取结构 | 稀疏性、空间几何,以及已知的输入输出语义 | 为任意方向赋予语义 |
| 读取机制 | 已知的回路模式和组合代数 | 在大模型中做可靠的因果定位 |
| 写入行为 | 完整的环境源码,以及足以表达逻辑的网络架构 | 在手写策略没有覆盖的情形下保持稳健 |
| 修改故障 | 成对的激活样本和明显的病态行为 | 增加模型原本不具备的能力 |
未来的基准应该把这些能力分开来测。可以隐藏输入语义,随机旋转内部表示,在手写策略覆盖范围之外测试;也应该检验因果定位,而不只是相关性,并与小型程序合成器和标准表征工程基线比较。对于允许反复试验的任务,还应明确区分:成绩有多少来自最初的权重设计,又有多少来自后续反馈和调参。
因此,现有证据所支持的最强结论,虽然比标题暗示的更窄,却可能更加有趣:
前沿大模型已经能够自主发现权重中可利用的结构,调用已有的可解释性方法,把程序合成为神经网络参数,并完成有效的、由激活引导的模型手术。它还没有表现出对权重的普遍语义理解,但已经能大幅降低使用这些方法的门槛。
这不是魔法,而是我们已有技术的一种新接口。一个足够好的接口,也可能改变一个领域。
来源
- Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab:《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》,2026 年 11 月 2 日。
- Rikiya Takehi 等:完整实验日志与评测文件。