Набор вопросов для проверки помощника
Составьте набор обычных вопросов, вопросов с недостатком данных и запросов вне задачи. Для каждого укажите допустимый ответ и момент передачи человеку. Если документ не содержит цены или условия, помощник должен сообщить об этом, а не придумывать значение.
- Отдельно считаем неподтверждённые ответы и передачи человеку.
- Проверяем стоимость и время ответа на том же наборе.
Начните с задачи, а не с технологии
Вопрос «как нам использовать ИИ» слишком общий. Полезнее найти место, где сотрудники регулярно тратят время на однотипную работу с текстом: отвечают на похожие вопросы, ищут информацию в документах, переносят данные из писем в таблицы.
Задачи, с которых удобно начать
- Черновики ответов клиентам по базе знаний компании
- Поиск по внутренним документам и инструкциям
- Извлечение данных из писем, заявок и документов в нужные поля
- Классификация и распределение входящих обращений
- Краткие сводки длинных переписок и документов
Как выглядит первый проект
Удобный первый шаг — пилот на одном процессе, например черновики ответов на частые вопросы по базе знаний. Сотрудники продолжают отвечать сами, но начинают с готового черновика. Постепенно становится видно, где помощник экономит время, где ошибается и какие материалы нужно улучшить.
Подготовьте материалы
Помощник отвечает настолько хорошо, насколько хороши его источники. Соберите актуальные документы, ответы на частые вопросы и правила. Устаревшие и противоречивые материалы лучше исправить до внедрения — иначе модель будет уверенно повторять ошибки.
Проверка качества
До запуска соберите контрольные примеры: реальные вопросы и документы с правильными ответами. На них проверяется помощник, и к ним же возвращаются после каждого изменения. Так качество оценивается фактами, а не впечатлением.
Человек остаётся в процессе
Модели могут ошибаться. Для ответственных действий нужен понятный сценарий: помощник предлагает черновик, а решение принимает сотрудник; сложный случай передаётся человеку. Начинать удобно именно с роли помощника, а не полной замены.
Расходы и данные
Использование моделей через API обычно оплачивается по объёму обработанного текста, поэтому расходы стоит оценить на реальных примерах до запуска. Отдельно решите, какие данные можно передавать внешнему сервису, а какие — нет.
Частые ошибки внедрения
- Начинать с самой сложной задачи вместо узкого сценария
- Подключать устаревшие или противоречивые материалы
- Оценивать качество на глаз без контрольных примеров
- Полностью убирать человека из ответственных решений
- Не оценивать расходы на модели до запуска