大模型调试与优化

先说结论

大部分”模型不行”的场景，实际不是模型的问题。我见过太多团队急着换更大的模型，
而真正的原因是：检索回来的片段被表格切碎了、提示词没告诉它不确定就说不知道、
新旧两版文档混在一起。

不是写几句”你是一个专家”。是定义输出结构、拒答边界、证据引用格式，
再做多轮对比测试挑最优版本。

切片粒度、召回策略、重排序、版本冲突处理。这是提升幅度最大的一环，
通常能把命中率从五成拉到九成。

提示词和检索做到头还差一口气时才做。微调贵、难维护，我不推荐一上来就微调。

抽 50~100 条真实业务问题，人工标注标准答案，跑四个指标：
事实准确率、引用命中率、应拒答率、人工复核量。
指标必须可复算——换个人来跑，结果一样。