企业 AI 落地常见问题
这些是企业在落地 AI 时问得最多的问题。每一条都尽量给具体的、可验证的回答，而不是泛泛而谈。
企业 AI 知识库怎么做？
先把“知识”和“文档”分开。文档是 PDF、Word、制度汇编；知识是这些材料里能被检索、能溯源到原文的最小单位。做知识库的核心动作是：去重、判版本、切到合适粒度、建立拒答边界。直接把 PDF 丢进向量库，等于没做。
大模型答不准是什么原因？
按我的经验，80% 不是模型问题，是这三件：检索到的片段不完整或版本错、没有定义什么叫答对、上线后没人维护。剩下 20% 才是模型能力边界。
RAG 效果不好怎么优化？
先别急着换模型。按顺序排查：切片粒度对不对 → 检索召回的片段对不对 → 提示词有没有约束“不确定就说不知道” → 有没有版本冲突。这四步通常能解决大部分问题，换模型是最后手段。
私有化部署大模型需要什么硬件？
看模型大小。7B~8B 的 Q4 量化约 5GB 显存，一张 12G 的卡能跑；14B 的 Q4 量化约 9GB，12G 卡能跑但上下文受限。中小企业内部知识问答，7B~14B 通常够用，不需要一上来就上百亿参数。
12G 显存能跑多大的模型？
14B 的 Q4_K_M 量化（约 9GB）可以跑，剩余显存留给上下文，建议把上下文窗口控制在 8K 以内。要更长上下文就换 7B。
AI 客服答错了谁负责？
这是必须在合同里写清楚的。我的做法是：定义“应拒答”边界，超出边界必须转人工；所有回答记录留痕可回溯。责任划分的前提是知道它什么时候答了、答了什么，所以留痕是标配。
医院 AI 问答合规吗？
合规的前提是定位清楚：它只能做信息查询和流程指引，不能做诊断、不能替代医生判断。涉及具体病情的必须拒答并引导就医。我在做知识底座时会把这条边界写死。
企业 AI 落地要多少钱？
取决于知识资产有多乱。体检是免费的，做完体检我能给出准确报价。给个量级参考：一个中等复杂度场景的底座建设通常在几万到十几万，持续调优按月计费。凡是没体检就报价的，报价都不可信。
AI 效果怎么评估？
抽 50~100 条真实业务问题，人工标注标准答案，然后跑四个指标：事实准确率、引用命中率、应拒答率、人工复核量。关键是这些指标要可复算——换个人来跑，结果一样。
我们资料很乱，要不要先整理？
不用。整理本身是我工作的一部分，而且我知道该整理成什么结构才能被检索。你自己先整理一遍，大概率白整理。
本地部署和云 API 怎么选？
看数据敏感度。内部制度、客户资料、未公开的专业知识 → 本地部署。公开信息的通用查询 → 云 API 更划算。混合用也很常见：敏感知识本地检索，通用理解走云端。
多久能见效？
体检 2~3 天出报告，能立刻知道问题在哪。底座建设 4~6 周后指标明显改善。但“一直准”是长期动作，需要按月维护。