OpenRouter测算自托管LLM何时比API便宜,Qwen3.8 27B单卡6%到12%负载即打平
OpenRouter发布测算文章,用2026年10月8日的实时API价格计算自托管LLM相对API的盈亏平衡负载:Qwen3.8 27B在一张每小时$0.50的租用RTX 3090上。
自托管是否省钱本质是利用率问题,GPU时租要对比同一小时token量的API费用,多卡大模型常打不过API,单卡小模型和自有GPU才有成本空间。
- 影响GPU按小时计租、忙闲都收费,只有工作时段的流量最多约24%利用率,多数团队租卡跑大模型难回本;公开的超低自托管成本多按缓存输入计价,口径不一致会误导采购对比;隐私需求大多可用零留存端点和区域路由满足,自托管留给必须掌控硬件的场景。
- 参考可先用公式自算平衡点,以现价把GPU每小时租金除以满负荷一小时token的API费用;已有闲置GPU的值得优先评估,其电费口径约1%负载即可打平;可按稳定基流量定自建规模,峰值走API并设置provider.zdr,采购前再核对最新价格。