MIT实验显示GPT-6 Astra可直接改写Qwen权重,数学得分提升约6倍
MIT实验显示GPT-6 Astra能直接分析并改写神经网络权重,仅改动Qwen3.5-0.8B中0.016%的权重,MATH-500得分就从7.9%升至48.1%,全程无训练和梯度下降。
改权重成为重训之外的一条小模型修复路径,本质是把迭代成本从训练算力部分转移到前沿模型的推理和验证算力上。
- 影响对在垂直场景部署小模型的团队,修推理循环、行为缺陷可能不必整模型重训,迭代周期和成本结构会变;代价是诊断、验证和批量推理要消耗前沿模型算力;结果出自单一研究团队的实验室演示,尚无生产环境案例。
- 参考可考虑盘点自家在用的小模型和已知缺陷清单,比如重复生成、卡长度上限,留作将来评估此类权重改写方法的试点对象;值得先算清一次微调的成本,留作对比基线。