LLM-боты поддержки, за которых не стыдно: практический чек-лист

Боты и автоматизация — одно из четырёх направлений нашей студии, а поддержка — место, где большие языковые модели окупаются быстрее всего: большинство вопросов повторяется, пользователи хотят ответа и в три часа ночи, а команде хочется меньше копировать одни и те же ответы. Но бот поддержки, который уверенно выдумывает правила возврата денег, вредит сильнее, чем отсутствие бота. Вот чек-лист, которого мы придерживаемся.

1. Отвечайте из своих знаний, а не из знаний модели

Общая модель ничего не знает о ваших ценах на подписку, расположении серверов или релизе прошлой недели. Дайте боту выверенную базу знаний — FAQ, описания в сторах, заметки к релизам, политики конфиденциальности — и пусть перед ответом он находит в ней нужные фрагменты (retrieval-augmented generation). Решают два правила:

• ✦бот отвечает только на основе найденного и честно говорит, если ничего подходящего нет;
• ✦у каждого ответа можно посмотреть источник, чтобы команда могла проверить, откуда взялось утверждение.

2. Запишите, чего бот не должен делать никогда

Сделайте границы явными в инструкциях и закрепите их в коде:

• ✦никаких обещаний возврата денег, скидок или компенсаций;
• ✦никаких изменений аккаунта или подписки без отдельного действия с проверкой прав;
• ✦никаких юридических, медицинских и финансовых советов;
• ✦никаких догадок о функциях, датах релизов и ценах, которых нет в базе знаний.

3. Всегда предлагайте человека

Хороший бот понимает, когда остановиться. Передавайте разговор человеку, если пользователь просит об этом, повторяет один и тот же вопрос, явно раздражён или речь об оплате либо удалении данных. Передайте короткое резюме, чтобы пользователю не пришлось объяснять всё заново. Следите, как часто это происходит: снижение доли передач хорошо, только если вместе с ним не падает удовлетворённость.

4. Бережно с данными пользователей

• ✦Сообщайте людям, что они говорят с ботом.
• ✦Никогда не запрашивайте пароли, номера карт и одноразовые коды — и отфильтровывайте их, если пользователь всё-таки их вставит.
• ✦Маскируйте email и телефоны в логах и храните переписку только пока она нужна.
• ✦Убедитесь, что провайдер модели и сроки хранения данных соответствуют тому, что обещает ваша политика конфиденциальности.

5. Тестируйте как код

Соберите набор реальных вопросов с ожидаемыми ответами — включая каверзные и попытки заставить бота вести себя плохо. Прогоняйте набор перед каждым изменением инструкций, базы знаний или модели и разбирайте ошибки вручную. Небольшие изменения формулировок могут сдвинуть поведение сильнее, чем кажется.

6. Говорите на языке пользователя

Наша аудитория пишет на английском, сербском и русском. Отвечайте на языке вопроса, не переводите названия продуктов и следите, чтобы база знаний была на каждом поддерживаемом языке, — иначе бот будет переводить на лету и отходить от исходного смысла.

Если коротко

Бот поддержки — это продукт, а не промпт. Опирайте его на собственную документацию, давайте ему узкие полномочия, держите человека на расстоянии одного шага и тестируйте каждое изменение. Тогда он мгновенно закрывает рутинные вопросы, а интересные оставляет вашей команде.

Нужен такой бот для вашего продукта или Telegram-сообщества? Расскажите нам.