GPT-6 像编程一样直接编辑模型权重,千问 Qwen3.5-0.8B 数学准确率提高约 6 倍
MIT CSAIL 团队发布研究,用 GPT-6 Astra 直接修改千问 Qwen3.5-0.8B 的模型权重,仅改动约 0.016% 参数,MATH-500 数学测试准确率从 7.9% 提高到 48.1%,IFEval 指令跟随约为原来的 3 倍,全程未做重新训练、后训练或强化学习。
直接改权重绕过训练就能修复模型缺陷的路径被演示可行,模型优化可能多出一种不依赖训练的编程式手段,但目前只在小模型上验证。
- 影响依赖小模型做端侧或垂直场景的企业,未来可能出现不经训练的低成本能力修复路径;当前结果只覆盖小模型和特定缺陷场景,尚不能直接套用到自有模型;若方向成熟,微调与后训练预算的构成可能需要重算。
- 参考可考虑盘点业务里已部署的小模型,标记存在反复输出、迟迟不交答案等行为的场景作为潜在改造对象;也值得先算清当前微调一个小模型的成本,留作新方法成熟后的对比基线。