Клиентский сервис / Ticket accuracy
Как классифицировать обращения с ИИ
ИИ автоматически распределяет обращения по категориям, темам и приоритетам, используя обученные модели. Точность классификации оценивается по формуле: (верно классифицированные / все проверенные) × 100%. Для внедрения нужны исторические данные обращений, размеченные категории и регулярная проверка на выборке.
Проблема
Почему это важно
Без автоматизации обращения клиентов распределяются вручную: операторы читают каждое сообщение, определяют тему и передают нужному специалисту. При росте потока заявок ручная сортировка становится узким местом: ответы задерживаются, часть обращений попадает не в тот отдел, и клиенты получают нерелевантные решения.
Почему возникает
- Ручная классификация зависит от опыта и внимательности оператора, что приводит к ошибкам при высокой нагрузке.
- Отсутствие единого справочника категорий: разные операторы называют одну и ту же проблему по-разному.
- Нет формальных правил приоритизации, поэтому срочные обращения теряются среди обычных.
Риски и потери
- Рост времени первого ответа и нарушение SLA.
- Снижение удовлетворённости клиентов из-за неверной маршрутизации.
- Перегрузка одних специалистов и простой других из-за неравномерного распределения.
Что влияет на результат
- Текст обращения: формулировки, ключевые слова, контекст.
- Канал обращения: чат, email, телефон, соцсети.
- История взаимодействий клиента с компанией.
- Срочность и потенциальное влияние на бизнес.
Типичные ошибки ручного подхода
- Опечатки и неоднозначные формулировки, которые оператор трактует по-своему.
- Пропуск важных деталей при быстром чтении.
- Субъективная оценка приоритета: один оператор считает обращение срочным, другой — нет.
Определение
Что важно понимать
Классификация обращений
Процесс отнесения каждого входящего запроса клиента к одной или нескольким заранее определённым категориям (тема, тип проблемы, приоритет) на основе его содержания и контекста.
Правильная классификация обеспечивает быструю маршрутизацию к нужному специалисту, соблюдение SLA и повышение удовлетворённости клиентов.Точность классификации
Доля обращений, которые система отнесла к правильной категории, среди всех проверенных обращений. Рассчитывается по формуле: (верно классифицированные / все проверенные) × 100%.
Показывает, насколько надёжно работает модель, и позволяет сравнивать разные подходы или версии модели.Обучающая выборка
Набор исторических обращений с уже проставленными правильными категориями, на котором модель учится распознавать закономерности.
Качество и полнота обучающей выборки напрямую определяют точность классификации.Данные
Какие данные нужны
Исторические обращения клиентов
Нужны для обучения модели и для проверки её точности на размеченной выборке.
- текст обращения
- канал (чат, email, телефон)
- дата и время
- фактическая категория (разметка)
Справочник категорий и подкатегорий
Определяет, к каким классам модель должна относить обращения.
- код категории
- название категории
- описание
- примеры типовых обращений
Правила приоритизации
Позволяют модели определять срочность обращения на основе ключевых слов, канала и других признаков.
- уровень приоритета (низкий, средний, высокий)
- условия (например, наличие слов «срочно», «ошибка», «не работает»)
- SLA для каждого приоритета
Данные о маршрутизации
Нужны для проверки, что обращение попало в правильный отдел, и для обратной связи по качеству классификации.
- ответственный отдел
- фактический исполнитель
- результат решения (решен/не решен)
Методология
Методика классификации обращений с ИИ
Принципы
- Начинайте с чёткого справочника категорий: он должен быть полным, непересекающимся и понятным операторам.
- Обучайте модель на реальных исторических обращениях, а не на выдуманных примерах.
- Регулярно проверяйте точность на контрольной выборке, которую модель не видела при обучении.
- Сочетайте автоматическую классификацию с ручной проверкой для сложных или новых типов обращений.
Допущения
- Существует достаточно исторических данных (минимум несколько сотен обращений на категорию) для обучения модели.
- Категории стабильны и не меняются слишком часто.
- Тексты обращений содержат достаточно информации для определения категории.
Ошибки
- Использовать слишком мало данных для обучения — модель запоминает единичные случаи и не обобщает.
- Не учитывать новые категории, которые появляются со временем, — модель устаревает.
- Полагаться только на ключевые слова без учёта контекста — например, слово «оплата» может относиться к разным темам.
- Не проверять точность на реальных данных после внедрения.
Роль ИИ
Как ИИ решает задачу
Автоматическое определение категории обращения
Данные на входе: текст обращения, канал, история клиента
Что делает модель: Модель анализирует текст и относит обращение к одной из заданных категорий с вероятностью для каждой.
Результат: Категория (или несколько категорий с вероятностями) и уверенность модели.
Как используется: Система автоматически маршрутизирует обращение в соответствующий отдел или предлагает оператору выбрать категорию при низкой уверенности.
Определение приоритета обращения
Данные на входе: текст обращения, канал, время поступления, история клиента
Что делает модель: Модель оценивает срочность на основе ключевых слов, тональности и контекста, присваивая приоритет (низкий, средний, высокий).
Результат: Уровень приоритета и обоснование (например, «содержит слова „срочно“ и „не работает“»).
Как используется: Система сортирует очередь обращений по приоритету, чтобы срочные запросы обрабатывались первыми.
Выявление новых или нестандартных обращений
Данные на входе: текст обращения, текущие категории
Что делает модель: Модель определяет, что обращение не подходит ни под одну из известных категорий (низкая уверенность для всех классов).
Результат: Флаг «требует ручной проверки» и предложение создать новую категорию.
Как используется: Оператор вручную разбирает такие обращения и при необходимости добавляет новую категорию в справочник.
Разбор
Как это работает
- 1
Вход: исторические обращения с разметкой категорий. Действие: разделяем данные на обучающую и контрольную выборки (например, 80/20). Результат: готовые наборы для обучения и проверки.
- 2
Вход: обучающая выборка. Действие: обучаем модель классификации на текстах обращений, используя методы машинного обучения (например, трансформеры). Результат: модель, способная предсказывать категорию для нового текста.
- 3
Вход: контрольная выборка. Действие: прогоняем обращения через модель и сравниваем предсказанные категории с фактическими. Результат: метрики точности, полноты, F1.
- 4
Вход: новое обращение клиента. Действие: модель определяет категорию и приоритет, система маршрутизирует обращение в нужный отдел. Результат: обращение попадает к правильному специалисту без ручной сортировки.
- 5
Вход: обращения с низкой уверенностью модели. Действие: система направляет их на ручную проверку оператору. Результат: снижается риск ошибок на сложных случаях.
- 6
Вход: результаты обработки и обратная связь от операторов. Действие: периодически переобучаем модель на новых размеченных данных. Результат: точность классификации растёт со временем.
Расчет
Формула точности классификации
Точность классификации показывает, какая доля обращений была отнесена к правильной категории. Это ключевой показатель качества работы модели.
Точность классификации
Accuracy = (количество верно классифицированных обращений) / (общее количество проверенных обращений) × 100%- Верно классифицированные — обращения, для которых предсказанная категория совпала с фактической.
- Все проверенные — общее количество обращений в контрольной выборке.
Условный пример: Контрольная выборка содержит 200 обращений. Модель правильно определила категорию для 180 из них. Точность = 180 / 200 × 100% = 90%.
Допущение: Точность — простой показатель, но при несбалансированных категориях лучше дополнительно смотреть на полноту и F1-меру.
Пример расчета
Как это выглядит в цифрах
Условный пример: оценка точности классификации в службе поддержки
- Допущение: Компания внедрила ИИ-классификацию обращений. Для проверки взяли контрольную выборку из 200 обращений за последний месяц.
- Допущение: Категории: «Оплата», «Техническая проблема», «Возврат», «Консультация».
Модель правильно классифицировала 180 из 200 обращений. Точность = 180 / 200 × 100% = 90%. При этом по категории «Возврат» модель ошиблась в 8 из 20 случаев (точность по категории = 60%), а по остальным категориям точность была выше 95%.Общая точность 90% выглядит приемлемо, но низкая точность по категории «Возврат» указывает на проблему: возможно, недостаточно обучающих данных по этой категории или формулировки клиентов слишком разнообразны. Это приводит к тому, что часть обращений по возвратам попадает в другие категории и обрабатывается не тем специалистом.
Логика решения
Почему дана такая рекомендация
Что повлияло на решение
- Точность классификации по каждой категории, а не только общая.
- Объём и качество обучающих данных по каждой категории.
- Частота появления новых типов обращений.
- Стоимость ошибки: неверная маршрутизация срочного обращения критичнее, чем ошибка в обычной консультации.
Какие риски учтены
- Модель может быть перекошена в сторону частых категорий и игнорировать редкие.
- Новые формулировки или продукты могут не распознаваться моделью.
- Высокая точность на тестовой выборке не гарантирует такую же точность в реальном потоке.
Какие варианты рассматривались
- Классификация только по ключевым словам (бизнес-правила) — проще, но менее точна.
- Гибридный подход: ИИ + ручная проверка для низкой уверенности.
- Полностью ручная классификация — не масштабируется.
ИИ-классификация выбрана, потому что она автоматически обрабатывает большие объёмы обращений, обучается на реальных данных и может быть улучшена со временем. Гибридный подход снижает риски ошибок на сложных случаях.
Если поток обращений небольшой (менее 50 в день) и категории очень простые, возможно, достаточно бизнес-правил без машинного обучения. Если категории часто меняются, потребуется регулярное переобучение.
Результат
Что видит пользователь
Дашборд с метриками точности классификации
Графики точности по категориям, динамика за периоды, список обращений с низкой уверенностью модели.
Руководитель видит, какие категории требуют дообучения, и может принять решение о сборе дополнительных данных.Автоматическая маршрутизация обращений
Обращения сразу попадают в очередь нужного отдела с указанием категории и приоритета.
Операторы не тратят время на сортировку, а сразу приступают к решению.Уведомления о новых или нестандартных обращениях
Список обращений, которые модель не смогла уверенно классифицировать.
Оператор вручную разбирает такие случаи и при необходимости добавляет новую категорию.Автоматизация
Что автоматизируется, а что нет
Выполняется автоматически
- Определение категории и приоритета для каждого нового обращения.
- Маршрутизация обращения в соответствующий отдел.
- Сбор статистики по точности классификации на контрольной выборке.
Требует настройки
- Справочник категорий и подкатегорий.
- Правила приоритизации (пороги, ключевые слова).
- Обучающая выборка размеченных обращений.
- Порог уверенности для автоматической маршрутизации (например, 0.8).
Остаётся за человеком
- Проверка обращений с низкой уверенностью модели.
- Добавление новых категорий при появлении новых типов обращений.
- Решение о переобучении модели при снижении точности.
Внедрение
Как внедрить решение
Быстрый запуск
- Создать справочник категорий в таблице (Excel/Google Sheets).
- Разметить 100-200 исторических обращений по категориям.
- Использовать готовый сервис классификации текста (например, API) или простую модель на Python для теста.
Рабочая система
- Настроить автоматическую загрузку обращений из каналов (email, чат, CRM).
- Обучить модель на размеченных данных и интегрировать её в процесс обработки.
- Создать дашборд с метриками точности и списком неклассифицированных обращений.
Расширенный вариант
- Добавить определение приоритета на основе тональности и контекста.
- Использовать несколько моделей для разных каналов или типов обращений.
- Внедрить цикл непрерывного обучения: модель переобучается автоматически на новых размеченных данных.
Подготовка
Чек-лист перед запуском
- 1
Определены категории и подкатегории обращений.
- 2
Собрано не менее 100 размеченных обращений на каждую категорию.
- 3
Данные разделены на обучающую и контрольную выборки.
- 4
Выбрана модель классификации (например, на основе трансформеров).
- 5
Заданы пороги уверенности для автоматической маршрутизации.
- 6
Настроена ручная проверка для обращений с низкой уверенностью.
- 7
Создан дашборд для отслеживания точности по категориям.
- 8
Определён ответственный за переобучение модели и обновление справочника категорий.
Вывод
Главное
Классификация обращений с ИИ работает надёжно, если опирается на качественные размеченные данные, чёткий справочник категорий и регулярную проверку точности.
Основные данные — исторические обращения с разметкой. Ключевой расчёт — точность классификации по формуле (верно классифицированные / все проверенные) × 100%, а также точность по каждой категории.
ИИ автоматически определяет категорию и приоритет обращения, выявляет нестандартные случаи и со временем улучшается за счёт переобучения.
Начните с создания справочника категорий и разметки 100-200 исторических обращений — это основа для обучения модели.
Метод ReMetod
На чем основан вывод
Метод ReMetod показывает, как выстроить путь от бизнес-проблемы к работающему решению: сначала определяется проблема (хаотичная сортировка обращений), затем модель решения (классификация с ИИ), данные (исторические обращения), автоматизация (модель и маршрутизация) и интерфейс (дашборд). Практикум «Архитектор» учит проходить этот путь без навыков программирования.
В программе практикума этот подход разбирается пошагово: от формулировки бизнес-задачи до модели решения, данных, автоматизации, интерфейса и проверки результата.
Посмотреть программу практикумаВопросы
Что обычно уточняют
Насколько точна классификация с ИИ?
Точность зависит от качества и объёма обучающих данных. При достаточной разметке (сотни примеров на категорию) современные модели достигают точности 85-95%. Регулярное переобучение на новых данных поддерживает точность на высоком уровне.
Что делать с нестандартными обращениями, которые модель не может классифицировать?
Система направляет такие обращения на ручную проверку оператору. Оператор классифицирует их вручную, и эти данные затем используются для дообучения модели, что снижает долю нестандартных случаев со временем.
Сколько времени нужно на внедрение?
Базовое решение можно запустить за 1-2 недели: создать справочник категорий, разметить данные и подключить готовый сервис классификации. Полноценная система с обучением модели и дашбордом займёт 3-4 недели.
Следующий шаг
Выберите, как продолжить с ReMetod
Хотите научиться автоматизировать классификацию обращений? Приходите на бесплатный вебинар ReMetod, где мы разбираем практические кейсы.