OpenRouter 实测,如何用重排序模型修复 RAG 检索不准
OpenRouter 发布 RAG 重排序教程,自建 274 题基准实测显示,向量检索取前 30 候选再用 voyageai/rerank-3-lite 重排,正确片段排第一的比例从 81% 升至 97%,重排序成本约 $0.10 每 1,000 次查询。
RAG 应用答错的根因常在检索排序而非生成环节,在向量检索后加重排序是低成本、可用 precision@1 量化验证的修复路径。
- 影响答不上来的案例多数是正确片段没进前三,模型只能回复不知道;便宜 embedding 加重排序的组合在测试中比单独用更贵的 embedding 更准且更省;LLM 重排序延迟约 4 秒,交互式场景需权衡。
- 参考可考虑从应用日志抽 50 条真实问题并标注正确片段,先算出现有 precision@1 基线;值得在自建评测集上对比 voyageai/rerank-3-lite 与 rerank-3,候选数从 30 起按结果调整;同时核对所选模型的上下文长度限制。