Когда говорят, что ассистента «обучили на документах компании», обычно имеют в виду другое. Модель не запоминает ваши прайсы и регламенты. Каждый раз, получив вопрос, ассистент сначала ищет в документах подходящие фрагменты, а потом просит модель ответить, опираясь только на них. Понимание этой схемы объясняет почти все ошибки ассистентов.
Как это работает
- Документы заранее режутся на небольшие фрагменты, по абзацу или разделу.
- Для каждого фрагмента вычисляется числовой «отпечаток» смысла. Похожие по смыслу тексты получают похожие отпечатки, даже если слова в них разные.
- Когда приходит вопрос, для него тоже считается отпечаток, и находятся несколько самых близких фрагментов.
- Модель получает вопрос и эти фрагменты и формулирует ответ.
В англоязычной литературе это называют RAG, поиск с последующей генерацией.
Где возникают ошибки
Нашёлся не тот фрагмент
Клиент спрашивает о доставке в выходные, а поиск приносит общий раздел о доставке, где про выходные ни слова. Модель отвечает уверенно, но неточно. Это самая частая ошибка, и исправляется она не сменой модели, а работой с документами и поиском.
Фрагмент вырван из контекста
В регламенте написано «скидка 10% действует при заказе от 50 000 ₽», но условие попало в соседний фрагмент. Ассистент видит только первую половину фразы и обещает скидку всем.
Документы противоречат друг другу
Старый прайс и новый лежат в базе вместе. Ассистент может процитировать любой из них. Люди в таких случаях знают, какой документ актуальный. Модель этого не знает, если ей не сказать.
Ответа в документах нет
Если подходящего фрагмента нет, модель всё равно может попытаться ответить из общих знаний. Для ассистента компании это недопустимо, поэтому ему прямо запрещают отвечать без опоры на найденный текст.
Как снизить число ошибок
- Навести порядок в документах до запуска: убрать устаревшие версии, разнести темы по отдельным разделам, писать условия целиком в одном абзаце.
- Показывать в ответе ссылку на источник. Клиент может проверить, а вы по журналу видите, откуда взялась ошибка.
- Разрешить ассистенту говорить «не знаю» и передавать вопрос человеку.
- Собрать 30–50 реальных вопросов с правильными ответами и прогонять ассистента по ним после каждого изменения документов.
Чего ожидать
Даже хорошо настроенный ассистент иногда ошибается. Вопрос в том, как часто, и знаете ли вы об этом. Поэтому в первые недели после запуска кто-то должен читать журнал диалогов и отмечать неверные ответы. Обычно большая часть ошибок связана с несколькими конкретными документами, и после их правки качество заметно растёт.
Как посчитать, окупится ли ассистент, мы разбирали в отдельной статье, а о том, как защитить его от злоупотреблений, в статье о безопасности.