MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍
MIT CSAIL 研究者提出「权重空间编程」,让 OpenAI 的 GPT-6 Astra 直接读取并修改阿里 Qwen3.5-0.8B 的神经网络权重,全程未用梯度下降或传统训练循环。
让一个模型直接改写另一个模型权重,把定点修复从完整训练流程中剥离出来,模型缺陷修补多了一条不重训的路径。
- 影响对反复生成重复内容、回答截断这类定位清晰的缺陷,修复成本可能远低于微调或重训;但方法依赖模型已有能力,也依赖能定位问题的模型和执行环境,目前是单篇博客结论。
- 参考可考虑先盘点自用小模型反复生成重复内容或触及长度上限的场景与发生频率,再评估是否适合权重定点修改;值得跟踪该方法能否被复现并工具化,再决定投入。