Клиентский сервис / Automation rate
Как сделать чат-бота с ИИ и рассчитать его эффективность
Чтобы сделать чат-бота с ИИ, нужно выбрать платформу, настроить базу знаний и подключить каналы. Эффективность измеряется через automation rate — долю обращений, решенных без человека. Формула: automation rate = (решенные ботом / все обращения) × 100%.
Проблема
Почему это важно
Без чат-бота с ИИ компания вынуждена обрабатывать все обращения вручную: операторы отвечают на повторяющиеся вопросы, тратят время на типовые запросы, а в пиковые часы образуются очереди. Это увеличивает нагрузку на команду и замедляет ответы клиентам.
Почему возникает
- Большой объем однотипных вопросов, которые можно автоматизировать
- Отсутствие инструмента для мгновенного ответа в нерабочее время
- Ручная обработка каждого обращения без использования базы знаний
Риски и потери
- Рост затрат на персонал из-за необходимости расширять команду поддержки
- Снижение удовлетворенности клиентов из-за долгого ожидания ответа
- Потеря обращений, если операторы не успевают обработать все запросы
Что влияет на результат
- Количество обращений в сутки/месяц
- Доля типовых вопросов, на которые есть готовые ответы
- Качество базы знаний и точность распознавания интентов
- Настройка сценариев перевода на оператора
Типичные ошибки ручного подхода
- Ошибки в подсчете числа обращений, решенных ботом (например, учитывают только полностью автоматические, а не частично)
- Не учитывают обращения, которые бот начал, но не завершил
- Путают automation rate с долей обработанных без участия человека, но без проверки качества
Определение
Что важно понимать
Automation rate
Доля обращений, решенных чат-ботом без участия человека, от общего числа обращений за период.
Показывает, насколько эффективно бот разгружает команду и сокращает затраты на поддержку.Чат-бот с ИИ
Программа, которая ведет диалог с пользователем, используя модели ИИ для понимания запроса и поиска ответа в базе знаний.
Позволяет автоматизировать типовые обращения и давать мгновенные ответы 24/7.Данные
Какие данные нужны
Логи обращений
Для подсчета общего числа обращений и числа решенных ботом.
- ID обращения
- Канал (чат, email, соцсети)
- Время создания
- Результат (решен ботом, передан оператору, не решен)
База знаний
Для настройки ответов бота на типовые вопросы.
- Вопрос
- Ответ
- Ключевые слова
- Категория
Настройки сценариев
Для определения, когда бот передает обращение оператору.
- Условия перевода (например, сложный вопрос, негативная тональность)
- Порог уверенности модели
Методология
Методика расчета automation rate
Принципы
- Считать только обращения, полностью решенные ботом без участия оператора
- Учитывать все обращения за период, включая те, что начаты ботом, но переданы оператору
- Использовать одинаковый период для числителя и знаменателя
Допущения
- Все обращения регистрируются в системе с указанием результата
- Бот работает без сбоев и все диалоги логируются
Ошибки
- Включать в числитель обращения, где бот лишь частично помог, а оператор завершил
- Не учитывать обращения, которые бот не распознал и сразу перевел на оператора
- Считать automation rate по выборочным данным, а не по всем обращениям
Роль ИИ
Как ИИ решает задачу
Классификация интента и извлечение сущностей
Данные на входе: Текст сообщения пользователя, История диалога
Что делает модель: Определяет намерение пользователя и ключевые параметры запроса
Результат: Интент (например, 'вопрос о доставке') и извлеченные сущности (номер заказа, город)
Как используется: Система выбирает подходящий ответ из базы знаний или запускает сценарий
Подбор ответа из базы знаний
Данные на входе: Интент и сущности, База знаний с вопросами и ответами
Что делает модель: Находит наиболее релевантный ответ по семантическому сходству
Результат: Текст ответа и уверенность модели
Как используется: Если уверенность выше порога, бот отправляет ответ; иначе переводит на оператора
Определение необходимости перевода на оператора
Данные на входе: Уверенность модели в ответе, Наличие сложных сущностей, Тональность пользователя
Что делает модель: Оценивает, может ли бот решить запрос самостоятельно
Результат: Решение: ответить автоматически или передать оператору
Как используется: Система либо отправляет ответ, либо создает задачу для оператора
Разбор
Как это работает
- 1
Вход: пользователь пишет сообщение в чат. Действие: система передает текст в модель ИИ для классификации интента. Результат: определено намерение и извлечены сущности.
- 2
Вход: интент и сущности. Действие: система ищет подходящий ответ в базе знаний. Результат: найден ответ и оценка уверенности.
- 3
Вход: уверенность модели и правила перевода. Действие: система решает, ответить автоматически или перевести на оператора. Результат: либо отправлен ответ, либо создана задача для оператора.
- 4
Вход: результат диалога (решен ботом, передан оператору). Действие: система логирует обращение с указанием результата. Результат: накоплены данные для расчета automation rate.
- 5
Вход: данные за период. Действие: система рассчитывает automation rate по формуле. Результат: показатель эффективности бота.
Расчет
Формула расчета automation rate
Automation rate показывает, какая доля обращений решена без участия человека. Рассчитывается по формуле:
Automation rate
Automation rate = (N_bot / N_total) × 100%- N_bot — число обращений, полностью решенных ботом за период
- N_total — общее число обращений за тот же период
Условный пример: За месяц поступило 1000 обращений, из них 700 бот решил самостоятельно. Automation rate = (700 / 1000) × 100% = 70%.
Допущение: Важно, чтобы N_bot включало только те обращения, где бот дал ответ и пользователь не потребовал оператора.
Пример расчета
Как это выглядит в цифрах
Условный пример: расчет automation rate для интернет-магазина
- Допущение: Интернет-магазин внедрил чат-бота с ИИ для ответов на вопросы о доставке, возврате и статусе заказа.
- Допущение: За месяц в чат поступило 2000 обращений.
- Допущение: Бот полностью решил 1400 обращений, 600 передал операторам.
Automation rate = (1400 / 2000) × 100% = 70%. Это означает, что 70% обращений не потребовали участия оператора.Automation rate 70% — хороший показатель для старта, но есть потенциал роста. Анализ показал, что 200 из 600 переданных оператору обращений были типовыми вопросами, которые бот мог бы решить при улучшении базы знаний.
Логика решения
Почему дана такая рекомендация
Что повлияло на решение
- Automation rate ниже целевого значения (например, 70% против целевых 80%)
- Доля переданных оператору обращений по конкретной теме
- Частота запросов, на которые нет ответа в базе знаний
Какие риски учтены
- Риск снижения качества ответов, если бот будет отвечать на сложные вопросы без достаточной уверенности
- Риск роста недовольства клиентов, если бот не сможет решить проблему и заставит ждать оператора
Какие варианты рассматривались
- Увеличить порог уверенности для автоматических ответов — снизит automation rate, но повысит точность
- Обучить модель на большем количестве диалогов — потребует времени и данных
- Расширить базу знаний — быстрый способ повысить automation rate
Расширение базы знаний — самый быстрый и дешевый способ повысить automation rate, так как большинство переданных обращений — типовые вопросы, на которые уже есть ответы у операторов.
Если бы основная причина перевода была в сложных нестандартных вопросах, потребовалось бы обучение модели или подключение операторов для контроля качества.
Результат
Что видит пользователь
Дашборд с показателем automation rate
График automation rate по дням/неделям, число обращений, решенных ботом и переданных оператору
Видеть динамику эффективности бота и выявлять проблемыОтчет по темам обращений
Список тем, по которым бот часто переводит на оператора
Определять, какие ответы нужно добавить в базу знанийАвтоматизация
Что автоматизируется, а что нет
Выполняется автоматически
- Классификация интента и извлечение сущностей
- Подбор ответа из базы знаний
- Отправка ответа пользователю
- Логирование результата обращения
Требует настройки
- Настройка базы знаний (вопросы и ответы)
- Определение порога уверенности для автоматического ответа
- Настройка правил перевода на оператора
Остаётся за человеком
- Решение о добавлении новых ответов в базу знаний
- Анализ причин низкого automation rate
- Контроль качества ответов бота
Внедрение
Как внедрить решение
Быстрый запуск
- Выбрать платформу для чат-бота (например, на основе ИИ)
- Создать базу знаний из 20-30 типовых вопросов и ответов
- Подключить бота к одному каналу (например, чат на сайте)
- Начать логировать обращения и вручную считать automation rate в таблице
Рабочая система
- Настроить автоматическую загрузку логов в базу данных
- Разработать дашборд для автоматического расчета automation rate
- Настроить уведомления о снижении automation rate
- Интегрировать бота с CRM для передачи обращений операторам
Расширенный вариант
- Обучить модель на исторических диалогах для повышения точности
- Подключить несколько каналов (email, соцсети, мессенджеры)
- Внедрить сценарный анализ: прогноз automation rate при изменении базы знаний
Подготовка
Чек-лист перед запуском
- 1
Определить цель automation rate (например, 70% за 3 месяца)
- 2
Собрать данные о текущих обращениях: количество, темы, время ответа
- 3
Выбрать платформу чат-бота с поддержкой ИИ
- 4
Создать базу знаний с ответами на типовые вопросы
- 5
Настроить сценарии перевода на оператора
- 6
Подключить логирование всех обращений с указанием результата
- 7
Разработать дашборд для расчета automation rate
- 8
Провести тестовый запуск на части трафика
- 9
Обучить операторов работе с ботом и переданными обращениями
- 10
Запустить бота на полный трафик и начать мониторинг automation rate
Вывод
Главное
Главный принцип — измерять automation rate на основе полных данных и использовать его для постоянного улучшения базы знаний и сценариев бота.
Основные данные — логи обращений с результатом; расчет — automation rate = (решенные ботом / все обращения) × 100%.
ИИ классифицирует запросы, подбирает ответы и решает, когда перевести на оператора, что напрямую влияет на automation rate.
Начните с малого: выберите один канал, создайте базу знаний из 20-30 ответов и начните считать automation rate в таблице.
Метод ReMetod
На чем основан вывод
Метод ReMetod показывает, как строить обучение вокруг пути: бизнес-проблема -> модель решения -> данные -> автоматизация -> интерфейс -> работающее решение. Это применимо и к созданию чат-бота: сначала определить проблему (большой объем типовых обращений), затем спроектировать модель решения (бот с ИИ), собрать данные (логи обращений), автоматизировать (внедрить бота) и получить работающее решение с измеряемой эффективностью.
В программе практикума этот подход разбирается пошагово: от формулировки бизнес-задачи до модели решения, данных, автоматизации, интерфейса и проверки результата.
Посмотреть программу практикумаВопросы
Что обычно уточняют
Сложно ли сделать чат-бота с ИИ без программирования?
Современные платформы позволяют создать бота без кода: настраиваете базу знаний, сценарии и подключаете каналы. Для расчета эффективности достаточно таблицы или простого дашборда.
Какой automation rate считается хорошим?
Универсального порога нет. Ориентируйтесь на динамику: если показатель растет после улучшений, значит, бот работает эффективно. Сравнивайте с прошлыми периодами и целями компании.
Что делать, если бот часто переводит на оператора?
Проанализируйте темы переведенных обращений и добавьте недостающие ответы в базу знаний. Также проверьте порог уверенности — возможно, он слишком высокий.
Следующий шаг
Выберите, как продолжить с ReMetod
Хотите научиться создавать таких ботов и считать их эффективность? Приходите на бесплатный вебинар ReMetod.