Implementação IA on-premise
| Casos de uso | Organizações onde os dados não podem sair da intranet |
|---|---|
| Clientes típicos | Hospitais / laboratórios / sociedades de advogados / indústria |
| Prazo | 1 a 3 semanas |
为什么需要私有化
把公司制度、客户资料、未公开的专业知识发到外部 API，等于把资产交给别人。
很多单位不是不想用 AI，是不敢用。
我做的事
硬件选型（先算清楚再买）
7B~8B 的 Q4 量化约 5GB 显存，一张 12G 的卡能跑；
14B 的 Q4 量化约 9GB，12G 卡能跑但上下文要控制。
我会按你的并发量和上下文长度反推配置，不让你多花冤枉钱。
部署
推理框架选型（Ollama / vLLM / Xinference）、OpenAI 兼容接口、
内网访问与安全组配置、进程守护与开机自启。
接入
给你标准接口，你的现有系统直接调。也可以帮你把问答界面做进去。
交付物
- 硬件配置清单（含为什么这么选、能撑多少并发）
- 部署好的服务 + 接口文档
- 运维手册：怎么重启、怎么换模型、怎么备份、出问题看哪个日志
一个诚实的提醒
如果你的场景只是通用问答、不涉及内部资料，用云 API 更划算，
我不建议你为了”看起来先进”去买显卡。该省的钱我会告诉你省。