Рекс измеряет расстояние между отметками на трёх дорожках

Сначала назовите результат, который нужен команде

В одном отчёте конверсия бота — 40%, в другом — 10%, в третьем — 25%. Ошибки в арифметике может не быть: авторы разделили разные результаты на разное число обращений. Чтобы оценить эффективность чат-бота, сначала нужно договориться, что считать результатом, а уже затем выбирать проценты.

Допустим, бот помогает службе записи подготовить обращение для сотрудника. Сам факт ответа ещё не означает, что сотрудник сможет продолжить работу. Для этого должны быть известны нужная услуга, удобное время и согласованный способ связи. Это и будет критерием пригодной заявки в нашем разборе. Если обязательного сведения нет, карточка может существовать, но к работе она пока не готова.

Для справочной поддержки результат другой: человек получил ответ на свой вопрос. Просить телефон ради выполнения плана заявок здесь бессмысленно. Поэтому метрики чат-бота выбирают под его задачу: подготовка заявки, решение вопроса или подтверждённое действие. Скорость первого ответа помогает понять ожидание клиента, но не заменяет ни один из этих результатов.

Одна группа обращений — три разных показателя

Возьмём учебную группу из 100 обращений за одну неделю. Все пришли из одного канала и относятся к записи на услугу. Спам и повторные сообщения по той же задаче не считаем отдельными обращениями; правило исключения задано до расчёта. Все числа ниже вымышлены и нужны только для объяснения метода.

Из этих 100 обращений получились 40 пригодных заявок. Оплату подтвердили по 10 обращениям, и все они входят в эти 40 заявок; остальные 60 обращений оплат не дали. Каждое обращение с оплатой учитываем один раз, независимо от числа платежей. Для каждого обращения прошло одинаковое окно наблюдения — 14 дней от первого сообщения. Это условие примера, а не рекомендуемый срок для любого бизнеса.

Что именно делим
  1. 40% — готовые заявки

    40 пригодных заявок / 100 обращений × 100%

  2. 10% — обращения с оплатой

    10 обращений с оплатой / 100 обращений × 100%

  3. 25% — оплаты среди заявок

    10 заявок с оплатой / 40 пригодных заявок × 100%

Первое число показывает, как часто обращение доходило до состояния, с которым сотрудник может работать. Второе описывает итог всего пути до оплаты. Третье — результат внутри группы уже подготовленных заявок. Называть все три числа просто «конверсией чат-бота» неудобно: по такой подписи нельзя понять, какой участок требует внимания.

В этой группе 30 пригодных заявок не закончились оплатой в выбранное окно. Это повод посмотреть, что происходило после подготовки заявки, но не доказательство ошибки менеджера. Клиент мог отложить решение, не найти подходящее время или отказаться по другой причине. Она не видна из дроби 10/40.

Не сравнивайте вчерашние заявки с теми, у которых была неделя

Представьте, что первая группа обращений пришла в начале месяца, а вторая — вчера. У первой уже было время выбрать услугу и оплатить. У второй часть людей ещё ждёт ответа сотрудника. Если посчитать оплаты прямо сейчас, разница может отражать возраст заявок, а не качество бота.

Для сравнения дайте обеим группам одинаковый срок наблюдения. В нашем примере итог второй недели можно подвести только после того, как пройдут 14 дней с её последнего обращения. До этого отчёт остаётся предварительным: уже известные оплаты можно показывать, но незавершённое ожидание нельзя незаметно приравнять к окончательному отказу.

Не менее важно одинаково считать само обращение. Пять сообщений об одной записи — не пять новых попыток продажи. При этом один человек может обратиться повторно с другой задачей. Определение нужно сохранить в отчёте и применять в обоих периодах; иначе знаменатель изменится даже при прежней работе команды.

Сравнивайте также состав потока: канал, тип услуги, рабочее время и условия предложения. Если во второй период пришла другая рекламная аудитория или началась акция, рост доли оплат нельзя целиком приписать боту. Сравнение «до и после» показывает изменение, но само по себе не отделяет влияние бота от остальных причин.

Сверьте результат с тем, что действительно произошло

В переписке бот пишет «заявка готова», а в карточке нет выбранной услуги. Для отчёта о пригодных заявках это ещё не успех. Обратная ситуация тоже возможна: сотрудник помог завершить запись, хотя ответ бота был неудачным. Итог обращения и качество самого бота нужно рассматривать отдельно.

В документации аналитики ChatRex это различие описано явно: результат учитывает всю переписку, включая оператора, а качество бота оценивается по его собственным ответам. У показателей могут быть разные базы расчёта. Ещё не оценённое обращение не означает неудачу, а отсутствие оценки не равно нулевому баллу.

Там же отдельно описаны зарегистрированные события целей и выводы анализа переписки. Упоминание продажи в разговоре не является автоматически зарегистрированным достижением цели. Для нашего отчёта источник оплаты — подтверждённая запись об оплате, связанная с нужным обращением. Фраза клиента «сейчас оплачу» её не заменяет.

Начать сверку можно с нескольких случаев, где отчёт и история расходятся. Для каждого достаточно сопоставить исходный запрос, последнюю договорённость и запись в системе, где должен быть результат. Если оплату нельзя связать с обращением, достоверной доли пока не получится: сначала нужно наладить учёт. Неизвестный исход оставляют неизвестным.

Карточка метрики, которую можно перенести в свой отчёт

Чтобы разные сотрудники получали один и тот же показатель, одной формулы мало. Ниже — заполненная карточка для первого числа из примера. Её можно использовать в обычной таблице; это образец учёта, а не описание отдельного экрана ChatRex.

  • Решение: понять, как часто обращение превращается в заявку, с которой можно работать
  • Показатель: доля пригодных заявок среди обращений о записи на услугу
  • Пригодная заявка: известны услуга, удобное время и согласованный способ связи; сведения сохранены для сотрудника
  • Группа: 100 обращений за выбранную неделю из одного канала; спам и повторные сообщения по той же задаче исключены по заранее принятому правилу
  • Срок наблюдения: 14 дней от начала каждого обращения; окно завершено для всей группы
  • Числитель: 40 обращений, для которых подтверждена пригодная заявка к концу окна
  • Знаменатель: все 100 подходящих обращений, включая незавершённые заявки
  • Источники: история обращений и соответствующие записи с обязательными сведениями
  • Результат: 40 / 100 × 100% = 40%; участие сотрудника учитывается отдельно

Под карточкой стоит оставить короткую границу вывода: «Показатель описывает результат всего сценария подготовки заявки. Он не доказывает, что сведения собрал только бот, и не показывает оплату». Для отчёта о самостоятельной работе бота понадобится отдельное условие — например, что сотрудник не помогал собирать обязательные данные.

Перед сравнением периодов сохраните версию определения. Если раньше обязательным было только название услуги, а теперь добавились время и способ связи, прежние и новые 40% означают разную полноту заявки. Их нельзя ставить рядом как один неизменный показатель без пояснения.

Как перейти от процента к решению

В нашем примере есть два понятных места для разбора: 60 обращений без пригодной заявки и 30 пригодных заявок без оплаты. Но начинать с вывода «бот плохо продаёт» рано. Сначала выясните, в какой группе есть повторяющееся препятствие, которое можно исправить.

Если в незавершённых заявках регулярно не хватает удобного времени, проверьте, как бот его спрашивает и сохраняет. Если все сведения есть, но дальше никто не продолжает разговор, изменение формулировки бота проблему не решит — нужно разбирать передачу сотруднику. Если клиент получил нужную справку и ушёл, отсутствие оплаты может вообще не быть неудачей этого обращения.

Выберите одну подтверждённую причину, внесите изменение и сравните следующую сопоставимую группу по той же карточке метрики. Рядом смотрите на ошибки и повторные обращения: больше заполненных полей не будет улучшением, если ради них человеку приходится отвечать по кругу.

Хороший отчёт заканчивается конкретным решением: какое препятствие нашли, что изменили и по какому событию проверят результат. Процент в нём остаётся полезной мерой, а не оценкой «хороший бот или плохой» без объяснения.

← Вернуться в блог