Частые вопросы о внедрении ИИ
Это вопросы, которые компании задают чаще всего при внедрении ИИ. Каждый ответ — конкретный и проверяемый, а не общие слова.
Как построить корпоративную базу знаний для ИИ?
Разделите «знания» и «документы». Документы — это PDF, Word, сборники регламентов; знание — минимальная единица внутри них, которую можно найти и проследить до источника. Основная работа: убрать дубли, определить версии, нарезать с нужной детализацией, задать границы отказа. Просто загрузить PDF в векторную базу — значит ничего не сделать.
Почему модель отвечает неточно?
По моему опыту, в 80 % случаев проблема не в модели, а в одном из трёх: найденные фрагменты неполные или не той версии; никто не определил, что считать правильным ответом; после запуска систему никто не ведёт. Оставшиеся 20 % — реальные ограничения модели.
Как улучшить слабый RAG?
Не спешите менять модель. Проверяйте по порядку: правильная ли детализация нарезки, те ли фрагменты находятся, есть ли в промпте требование «если не уверен — скажи, что не знаешь», нет ли конфликта версий. Эти четыре шага решают большинство проблем; замена модели — крайняя мера.
Какое оборудование нужно для приватного развёртывания?
Зависит от размера модели. 7B–8B в квантовании Q4 занимает около 5 ГБ видеопамяти — хватит карты на 12 ГБ; 14B в Q4 — около 9 ГБ, карта на 12 ГБ потянет, но с урезанным контекстом. Для внутренних вопросов-ответов в средней компании обычно хватает 7B–14B; не нужно сразу брать десятки миллиардов параметров.
Модель какого размера влезет в 12 ГБ VRAM?
14B в Q4_K_M (около 9 ГБ) запустится, остаток остаётся под контекст — держите окно контекста в пределах 8K. Нужен более длинный контекст — берите 7B.
Кто отвечает, если ИИ-ассистент ошибся?
Это надо зафиксировать в договоре. Мой подход: определить границу «обязательного отказа», всё за границей передавать человеку и журналировать каждый ответ. Ответственность начинается с понимания, когда и что именно ответила система, поэтому логирование обязательно.
Законна ли ИИ-консультация в больнице?
Соответствие начинается с чёткой роли: только поиск информации и навигация по процессам — никакой диагностики, никакой замены врачебного решения. Всё, что касается конкретного случая, должно отклоняться с перенаправлением к врачу. Я жёстко зашиваю эту границу при построении базы.
Сколько стоит внедрение ИИ?
Зависит от того, насколько запущены ваши знания. Аудит бесплатный, и после него я могу назвать точную цену. Порядок величин: построение базы для сценария средней сложности — от десятков тысяч, дальнейшая настройка — ежемесячно. Любая оценка без аудита недостоверна.
Как оценивать результат ИИ?
Возьмите 50–100 реальных рабочих вопросов, размеченных людьми как эталон, и считайте четыре метрики: фактическая точность, доля верных ссылок на источник, доля корректных отказов, объём ручной проверки. Главное — воспроизводимость: другой исполнитель должен получить те же числа.
У нас бардак в материалах — прибрать сначала?
Нет. Приведение в порядок — часть моей работы, и я знаю, какая структура делает материалы находиыми. Если вы наведёте порядок сами, скорее всего, придётся переделывать.
Локальное развёртывание или облачный API?
Смотрите на чувствительность данных. Внутренние регламенты, досье клиентов, непубличная экспертиза — локально. Общие вопросы по открытой информации — выгоднее облачный API. Часто смешивают: чувствительные знания ищутся локально, общее понимание — в облаке.
Когда будет эффект?
Отчёт по аудиту готовится за 2–3 дня и сразу показывает, где проблемы. Через 4–6 недель построения базы метрики заметно улучшаются. Но держать точность — долгая задача, требующая ежемесячного сопровождения.