网友用停产英特尔傲腾内存无显卡跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元
一名 Reddit 网友在无显卡的环境下,用已停产的英特尔傲腾持久内存跑通了 2.8 万亿参数的月之暗面 Kimi K3 模型。该配置为 40 核第三代至强可扩展处理器加傲腾 200 系列,以 App Direct 模式通过 llama.cpp 推理;1 比特量化在关闭 DAX 后速度约每秒 1.50 词元,3 比特量化仅每秒 0.75 词元,生成 5 万词元约需 18.5 小时。
这场实验的实质是把运行超大模型的门槛从显卡算力转移到内存容量,停产硬件也能载入 Kimi K3,只是速度停在每秒个位数词元。
- 影响对多数企业的直接经营影响有限,实测速度只适合不要求实时响应的场景;若考虑本地部署大模型,大容量廉价内存替代显卡的路线可进入成本比较。
- 参考可考虑在评估本地大模型部署时,把二手傲腾内存加大容量内存的路线列入比价清单;先用 llama.cpp 实测目标模型量化后的生成速度再定预算。