Как сделать тестирование в чат боте

Добавил пользователь Валентин П.
Обновлено: 04.10.2024

Все этапы в чат-боте заполнять не обязательно, важно заполнить первый. Остальные этапы нужны для отслеживания аналитики (сколько человек переходит от этапа к этапу) и не обязательны к заполнению.

Вопросы, которые мы разобрали в этой статье:

4. Как добавить ссылку в текстовый блок чат-бота.

5. Как соединить между собой блоки (добавить логику).

6. NEW! Как добавить блок "условие" и для чего он нужен.

7. Как добавить функцию задержки между отправкой блоков.

8. Как добавить переход между этапами.

9. Как сделать так, чтобы при переходе к новому блоку (через кнопку или без неё) добавлялся нужный нам тэг (для сегментации пользователей).

10. Как сделать так, чтобы при переходе к новому блоку (через кнопку или без неё) пользователь автоматически перемещался в нужную нам колонку в CRM системе.

12. Как настроить функцию ожидания ввода от пользователя, собрать с него номер телефона, емейл или другую информацию и автоматически сохранить в карточку клиента в СRM.

13. Как сделать переход в другую автоворонку по кнопке в чат-боте.

заходим в раздел редактирования первого этапа автоворонки:

При вводе текста, для того, чтобы выделить следующее предложение абзацем, необходимо нажать комбинацию: Shift+Enter.

В Instаgram можно добавить 2 варианта кнопок:

1-й вариант: кнопка, которая исчезает, после нажатия на неё пользователем. Мы называем её кнопкой быстрого ответа (в конструкторе текст+быстрый ответ). Таких кнопок можно добавить до 10 штук. В них нельзя добавить ссылку или функцию проверки подписки и они используются для перехода к следующему шагу логики.

для этого нажимаем "Добавить контент" и после этого выбираем "Текст+Быстрый ответ";

далее добавляем текст и добавляем название быстрого ответа;

далее создаём новый блок и проводим стрелочку (логику) к нужному вам блоку:

Для удаления кнопки быстрого ответа, нажмите на серый значок корзины слева от кнопки.

добавление текста не более 500 символов;

добавление изображения, которое будет идти целиком с текстом;

добавление кнопки, которая будет переводить далее по логике чат-бота;

добавление кнопки-ссылки - переводит клиента сразу по указанной вами ссылке (введите её в поле всплывающего окна справа);

добавление кнопки проверки подписки - будет удалена до конца 2021 года. С 20.12.21 проверку подписки необходимо делать через условие (см.пункт 6).

нажимаем "добавить контент";

далее нажимаем "добавить картинку".

для удаления изображения нажмите на серый значок корзины в верхнем левом углу изображения.

Как добавить ссылку в текстовый блок чат-бота:

добавляем в поле для ввода текста, вашу ссылку:

Внимание! Есть ряд ограничений от Instagram:

1. Некоторые ссылки не будут кликабельны либо чат-бот не отправит блок с данной ссылкой, так как они запрещены по мнению Instagram. Поэтому рекомендуем воспользоваться либо сокращателями ссылок, либо выложить ваш файл в облако, либо подключить/изменить домен отправляемой ссылки.

Как соединить между собой блоки (добавить логику):

нажимаем на круг в правом нижнем углу блока;

появляется стрелочка, которую ведём к нужному блоку и нажимаем на левую кнопку мышки, чтобы отпустить стрелочку (сам блок при наведении должен выделиться более ярким цветом):

Для удаления стрелочки (логики) нажмите на серый значок корзины

слева от центра стрелочки.

6. Как добавить блок "условие" и для чего он нужен.
Данный блок нужен для того, чтобы провести логику бота в зависимости от того, соответствует ли пользователь определенным условиям или нет.

Для того, чтобы добавить условие:

Нажимаем на "+", который позволяет добавлять новые блоки и там выбираем блок условие;

Далее проводим логику от блока, после которого необходимо поставить проверку условия;

Далее создаём 2 блока. Первый блок если условие будет выполнено. Второй блок, если условие будет не будет соответствовать заданному критерию.

Далее проводим стрелочку от выбранного критерия (как от кнопки) к созданному блоку, который будет отправлен, если условие выполнено, как в скриншоте ниже:

Далее проводим стрелочку от самого блока (правый нижний угол), к блоку, который будет отправляться, если критерии условия не выполнены:

Далее можем также при необходимости добавить в блок кнопку и провести логику от неё снова к условию, чтобы вновь проверить выполнение условия, после нашей просьбы в текстовом блоке сделать это.

Какие условия может проверять чат-бот:
1. Присвоены ли тэги (по добавлению тэгов см. пункт 9).

2. Подписан ли пользователь на аккаунт, к которому подключен чат-бот.
3. В какую дату, время и день недели пользователь запустил чат-бота.

7. Как добавить функцию задержки между отправкой блоков.

На самой стрелке между блоками, при наведении мышкой на стрелку, появляется 2 значка:

1. Серый значок корзины (удаление стрелочки);

2. Оранжевый значок таймера. Эта кнопка открывает окно справа и позволяет добавить задержку между блоками.

Можно настроить, чтобы следующий блок при этом отправлялся:

через заданное количество секунд, минут, часов и дней;

в тот же день в заданное время;

на следующий день в заданное время;

в конкретную дату и время.

Все задержки отправляются по московскому времени.

b. После выбора времени, нужно нажать на кнопку: "Добавить задержку". Когда задержка добавлена, стрелочка загорается оранжевым цветом.

c. Для изменения/удаления задержки, нужно ещё раз нажать на таймер и затем на кнопку "изменить/удалить задержку"

8. Как добавить переход между этапами:

Для этого на самом блоке в левом верхнем углу есть оранжевая стрелочка, при нажатии на которую справа появится меню, в котором будет выбор, на какой этап перевести пользователя;

Выбираем нужный этап из выпадающего списка и нажимаем внизу на кнопку: "добавить этап";

После успешного добавления перехода к новому этапу на блоке в правом верхнем углу появится аналогичная оранжевая стрелочка и исчезнет возможность провести логику от данного блока.

На самом блоке есть фиолетовый значок с ярлыком. При нажатии на него, откроется справа меню: "Назначить тэги".

В списке при наличии, будут отображены существующие тэги. Можно выбрать их или ввести вручную свой, после чего нажать на кнопку "Создать".

После успешного добавления, появится уведомление, что тэг успешно присвоен, а в правом верхнем углу блока появится значок фиолетового ярлыка.

Для изменения/удаления тэга, нужно ещё раз нажать на иконку ярлыка и затем на крестик возле ярлыка, после чего он будет удалён. Для добавления нового/существующего тэга, используйте инструкцию выше.

10. Как сделать так, чтобы при переходе к новому блоку (через кнопку или без неё) пользователь автоматически перемещался в нужную нам колонку в CRM системе:

На самом блоке есть бирюзовый значок с двумя силуэтами людей. При нажатии на него, откроется справа меню: "Колонка клиента".

В списке "Колонка" будут отображены существующие колонки вашей CRM системы. Нужно выбрать нужную вам колонку и нажать на кнопку "Добавить действие".

После успешного добавления, появится уведомление: "Действие успешно добавлено", а в правом верхнем углу блока появится бирюзовый значок силуэтов людей.

Для этого нужно:

Провести стрелочку от самого блока (нижний правый угол блока) к блоку, который будет содержать только текст;

Далее от текстового блока проводим логику к блоку, который уже будет дублировать предыдущие не нажатые кнопки и призывать к их нажатию.

Подробнее на скриншоте ниже:

Далее в всплывающем справа окне мы выбираем тип данных: номер телефона, электронная почта или свободный ввод (позволяет получить текст в свободном формате).

Если номер телефона и емейл сохраняются в карточке клиента всегда, то свободный ввод мы можем выбрать, сохранять или нет.

Далее нажимаем кнопку "Добавить условие" и ваша стрелочка становится зелёной, а вверху справа приходит уведомление, что "Ввод данных успешно обновлён".

13. Как сделать переход в другую автоворонку по кнопке в чат-боте.

Для этого, нам необходимо создать автоворонку с триггер словом полностью совпадающим с названием кнопки, от которой мы не проводим никакую логику (стрелочку).

Таким образом, пользователь жмёт на кнопку, тем самым отправляя нам в Директ триггер слово, от которого срабатывает другая автоворонка.

Времени заниматься ботом не было до этой осени. Поэтому, когда в октябре я открыл статистику по пользователям, был приятно удивлен: активаций (количество пользователей с момента релиза) оказалось более 180 000. Мне сразу захотелось немного изменить логику работы бота, прикрутить аналитику действий пользователей, накопить данные, а затем попробовать улучшить некоторые из его метрик.

Эта статья о том, какую метрику телеграм бота я решил вырастить при помощи онбординга и как проводил A/B тест перед его запуском для всех новых пользователей.

Перед тем, как внедрять онбординг и проводить A/B-тест, я добавил некоторые функции в старую версию бота. Путь нового пользователя в актуальной версии бота без онбординга показан на скриншотах, а все изменения по сравнению со старой версией описаны в тексте ниже.

Это было первое, что я сделал. Не буду останавливаться на техническом описании своего решения — просто скажу, что в итоге аналитика собирается по всем событиям в боте, можно легко доставать из базы любые данные или визуализировать их в дашбордах.

Пользователям это дало возможность применять понравившийся фильтры без запоминания их id. Мне же появление этой функции дало возможность выявить наиболее популярные фильтры. При онбординге я использовал эти знания (об этом будет ниже).

Если пользователь 3 раза получил результат обработки, бот требует от него подписаться на канал для продолжения работы. Пока требуется подписаться на канал, созданный для этого бота — в нем публикуются обновления бота (новые функции, добавление фильтров, информация о неисправностях). Возможно, в будущем таким способом получится продавать рекламу, но пока у меня нет никаких сведений относительно интереса со стороны рекламодателей к такого рода продвижению.

Насколько мне известно, самый популярный формат рекламы в ботах — это делать рассылки по всем пользователям бота, но это негативно воспринимается пользователями. Кстати, интересно узнать у владельцев ботов — как вы их монетизируете?

При проектировании онбординга, я старался добиться двух целей:

После выбора категории, пользователь получает обработку случайным фильтром из выбранной категории, а онбординг на этом заканчивается и становится доступным обычное меню управления. На этом шаге бот ожидает от пользователя команды и при попытке получить следующую обработку попросит пользователя подписаться на канал: отправляет ссылку для перехода в канал и кнопку, которую требуется нажать после подписки. В дальнейшем при помощи telegram api бот проверяет подписку на канал при каждой обработке и выдает результат только тем, кто подписан.

В A/B тесте принимали участия только новые пользователи бота, так как онбординг запускается лишь на старте. Группе A показывалась версия бота без онбординга, а группе B — версия с онбордингом. Пользователи разделялись по группам случайным образом (если telegram id нового пользователя был нечетный, он попадал в группу A, а если четный — в группу B).

Это стандартные правила проведения A/B теста. Перед началом, я определил этапы воронки, через которые проходят все новые пользователи бота. Всего получилось 5 этапов:

Далее начертил 2 таблицы. Первая понадобилась для записи количества пользователей в группе А и в группе B на каждом из этапах воронки. Вторая таблица — для подсчета относительных конверсий на каждом из этапов воронки, а также абсолютной конверсии в подписчика. Относительные конверсии в таблице это конверсии с C1 по C4, а абсолютная — C абс.

Значения остальных относительных конверсий я ожидал увидеть примерно одинаковые в обеих группах, за исключением конверсии в переход по ссылке. Я предполагал, что пользователи, прошедшие через онбординг, будут активнее кликать по ссылке, но в реальности это оказалось не так.

A/B тестирование дает ответ на вопрос какой из двух вариантов обладает лучшей конверсией, но зачастую для получения статистически значимого результата, исключающего случайную ошибку, приходится ждать много времени.

До начала проектирования теста, я подсчитал необходимое количество пользователей и время ожидания в калькуляторе Эвана Миллера. У меня уже были накоплены данные по исследуемой конверсии: в своем прогнозе я предполагал, что она увеличится примерно на 15% при добавлении онбординга.

Калькулятор дал прогноз, что ожидать набора пользователей при таком прогнозе для статистически значимого результата придется около 4 дней — для меня это было приемлемо. В итоге изменение конверсии оказалось существеннее прогнозируемого и статистически значимый результат удалось получить менее чем за 2 дня.

Как видно из заполненных таблиц с результатом, все конверсии кроме ключевой C2 и C абс. оказались примерно одинаковыми. Разницу конверсий C2 в группах я выделил в таблице зеленым, так как статистическая значимость этого результата была подтверждена калькулятором Эвана Миллера. Конверсия C3 в обеих группах также оказалась примерно одинаковой — это значит, что те пользователи, которые дошли до этапа получения ссылки имели примерно равную мотивацию ее нажать в обеих группах.

При этом онбординг отлично справился со своей задачей и довел гораздо больше новых пользователей до этапа получения ссылки и требования подписаться на канал, чем версия без онбординга. Абсолютная конверсия изменилась примерно на тоже значение, что и C2 — это говорит о том, что отрицательного влияния онбординга на нее не было. После окончания теста онбординг был запущен для всех новых пользователей.

Полученный в калькуляторе результат дает понимание, что конверсия в группе B (с онбордингом) оказалась выше. Также в калькуляторе можно посмотреть доверительный интервал полученной конверсии. В моем случае этот интервал достаточно существенный, но пока я решил не тратить время на его сужение. Мне было достаточно простого сравнения двух версий.

Онбординг в телеграм ботах так же важен, как и в других продуктах.
Чтобы сделать хороший онбординг, нужно знать предпочтения пользователей.
При проведении A/B-тестов пользователи в двух группах должны совершать действия в один период времени, то есть нельзя сначало давать пользователям версию A, замерять результат, а затем давать версию B.

Если какие-то метрики на этапе тестирования противоречат здравому смыслу, нужно обязательно перепроверить все шаги на наличие программных ошибок.

До начала тестирования стоит спрогнозировать вероятное время накопления данных, иначе вы рискуете потратить на тест больше времени, чем у вас есть.

Если вас интересуют продуктовые исследования и эксперименты, то загляните на мой телеграмм канал @petprojectblog — в нем я описываю реальные продуктовые кейсы, а для данной статьи там есть небольшой скринкаст. В комментариях под статьей хотел бы пообщаться с другими разработчиками ботов и продакт менеджерами. Мне особенно интересны аналитика и способы монетизации ботов.

Чат-боты сейчас набирают большую популярность и уже используются в разных сферах деятельности: заказ одежды, спецпредложения от торговых сетей, покупка авиа и ж/д билетов, почтовые сервисы, банковские услуги, информация от коммунальных служб и т.д.

Что же это такое? Чат-бот — это специальная компьютерная программа, с помощью которой можно общаться с клиентом 24/7. В чат-боте прописаны определенные сценарии, которые помогают клиенту без привлечения соответствующего персонала в любое время суток оформить свой заказ или найти ответ на интересующий его вопрос.

Сейчас достаточно много статей как создавать чат-боты, их описание (из чего они должны состоять или как их лучше проектировать), но слишком мало, как их тестировать.

В этой статье хотим поделиться своим опытом тестирования чат-ботов. Рассказать об основных особенностях и подходах к тестированию чат-ботов на платформах Telegram и Viber.

По данным немецкого онлайн-портала статистики самым популярным мессенджером в мире стал WhatsApp, но в постсоветских странах и непосредственно в Украине лидирующие позиции занимают Viber, FB и Telegram по данным на 2019 год.

Так все же, почему Viber и Telegram? Давайте рассмотрим чем они похожи, а чем отличаются.

Самым популярным мессенджером в мире стал WhatsApp, но в постсоветских странах и непосредственно в Украине лидирующие позиции занимают Viber, FB и Telegram по данным на 2019 год.

Сравнение возможностей Viber и Telegram

По данным из таблицы можно заметить отличия, но необходимо отметить, что эти мессенджеры не просто то, чем мы пользуемся каждый день для развлечений, но они уже становятся своего рода плато для различного рода продвижения бизнеса.

Поскольку оба мессенджера могут поддерживать использование ботов, давайте рассмотрим особенности работы для каждого из них.

Особенности работы Viber и Telegram

Достоинства и недостатки чат-ботов

Для этого вернемся к главному определению чат-бота, о котором мы уже писали выше.

Необходимо обратить внимание на то, что существует два вида ботов:

Чат-бот с фиксированной информационной базой данных, они запрограммированы на ограниченный диапазон сценариев поведения, относится кнопочный бот и бот-суфлер.
Чат-бот на основе искусственного интеллекта с возможностью самообучения и самообновления данных, относится к типу "умный бот".

Стоит отметить то, что боты с фиксированной информационной базой более надежны и просты из-за того, что они не содержат искусственный интеллект, они не смогут выйти из-под контроля разработчиков.

Чат-боты с реализованным (внедренным) искусственным интеллектом, более “отзывчивы”, и их интеллект подразумевает способность реагировать в зависимости от сложившейся ситуации.

Таким образом, можно выделить следующие достоинства и недостатки для чат-ботов:

Достоинства	Недостатки
Использование 24/7	Сбои в работе чат-бота при нестабильном интернете
Моментальный ответ бота	Избыток функций
Понятный и простой интерфейс	Сложный и запутанный интерфейс
Дешевизна для компаний	Неспособность бота распознать сарказм, иронию, юмор и сленг
Расширение покрытия платформ	Нестандартное поведение пользователя может вызвать вывод бота из строя
Для общения с чат-ботом не обязательна установка приложения	Не для всех видов бизнеса

Из таблицы видно, что у Telegram больше возможностей при создании чат-бота, соответственно и функционала для тестирования будет больше.

Так что принципиального различия в тестировании чат-ботов для Viber или для Telegram не будет. Дальше рассмотрим, как в целом тестировать чат-боты.

С чего начать тестирование чат-ботов

Так с чего начать?

Сначала необходимо выполнить первые шаги, которым учат на курсах QA тестировщика -выяснить, для кого и для чего создавался ваш чат-бот, узнать его целевую аудиторию и для решения каких задач он понадобится пользователю. Уточнить, какие команды при работе с чат-ботом может применять пользователь. Хорошо если пользователю будет доступен этот список (например, будет выводится после регистрации/авторизации или будет ссылка на сайт с короткой инструкцией по использованию бота). Обратите внимание на список команд для Viber и Telegram, скорее всего он будет отличаться. Выяснить, на какие страны ориентирован чат-бот и какие языки будут поддерживаться. И уточнить для каких платформ будет разработан ваш чат-бот.

Еще рекомендуем перед началом тестирования вашего чат-бота ознакомиться со схожими чат-ботами в той же области (установить и посмотреть как работают чат-боты для Viber и Telegram).

Если бот поддерживает разные страны/языки, проверить наличие переводов для диалогов с чат-ботом и на корректность построения их, опираясь на культуру и традиции той или иной страны, грамматических особенностей построения предложений. Стоит обратить внимание на то, что при регистрации/авторизации (или если это используется в других сценариях чат-бота) маска/валидация номеров телефонов, адрес соответствует формату выбранной страны.

Приемы для тестирования чат-ботов

Также в ходе тестирования можно использовать следующие классические приемы.

Одной из Best Practice является именно то, что тестировщиков желательно привлекать на ранних этапах разработки как при тестировании web-сайтов, десктопных и мобильных приложений, игр, так и непосредственно чат-ботов. Это нужно именно для того, чтобы в будущем уменьшить количество дефектов и обеспечить их исправление на ранних этапах, что значительно уменьшит затраты на проект.

Когда вы получите чат-бота на тест, нужно помнить, что процесс тестирования зависит от контекста. Если вы занимались тестированием только длительных проектов, например, таких как медицинское оборудование, документооборот, программное обеспечение для автомобилей, то нужно изучить подходы к тестированию непосредственно чат-ботов, поскольку они будут принципиально разниться не только по предметной области, но и по видам и техникам тестирования, которые вам придется применять.

Не забывайте о тестовых артефактах. Если вы приняли решение о целесообразности использования тест-кейсов, чек-листа или любой другой тестовой документации, старайтесь актуализировать ее, в противном случае вы пропустите fault, который превратится в failure.

Само тестирование продукта непосредственно показывает наличие дефектов и определяет слабые места чат-бота. В ходе тестирования задумайтесь о том, что тестирование помогает выявить дефекты, а не доказать то, что чат-бот не пригоден к использованию.

Обратите внимание что, если вы нашли дефект в чат-боте, двигаясь по позитивному сценарию, стоит продолжать копать в этом направлении, так вы сможете увидеть целый кластер дефектов.

Если вы не выявили дефекты, это совсем не означает, что их нет. Попробуйте пересмотреть сценарии кейсов и выявить слабые места чат-бота.

Абсолютно все сценарии проверить не получится, составляйте тестовую документацию, кроме позитивных сценариев, используйте негативные и исследовательские, оценивайте их на реалистичность, приоритезируйте кейсы.

Подходите к тестированию чат-ботов, так же, как если бы вы тестировали web-сайт, десктопное или мобильное приложение. В любой области есть что-то общее и есть свои нюансы. Как раз на эти нюансы мы и хотели обратить ваше внимание и поделиться своим опытом в тестировании чат-ботов.

Огромная работа уже проделана — и это замечательно! Пообщаться с твоим ботом каждый день приходит несколько десятков, сотен или даже тысяч человек.

Но расслабляться еще рано. Если говорить точнее — работа с чат-ботом никогда не прекращается. Всегда есть то, что можно улучшить, дополнить или доработать.

В этом выпуске нашего курса мы расскажем о том, как сделать регулярную доработку твоего бота простой и ненапряжной.

В проверках главное — регулярность. Если все будет идти хорошо, ты столкнешься с сильным искушением пропустить регулярную проверку (а потом еще одну и еще). Но это ловушка! Стоит немного запустить чат-бота, как тебе уже будет сложнее починить его.

Порядок действий во время доработки бота

Сколько пользователей получают то, что им нужно от чат-бота?
Ответь на этот вопрос, а еще точно посчитай, сколько пользователей бросают диалог, не дойдя до ценности. Количество нераспознанных фраз и пустых диалогов смотри в Статистике Aimylogic.

1. Анализ полезности бота для пользователей

Чтобы увеличить полезность бота, ищи неудавшиеся диалоги и дорабатывай сценарий, создавая новые интенты и соответствующие ветки диалога. Так ты сделаешь чат-бота полезнее для клиентов и повысишь их лояльность.
Как анализировать поведение клиентов в чат-боте с помощью Google Analytics

Если анализ показал, что пользователи стабильно уходят на каком-то раздражающем вопросе чат-бота, следует перестроить логику диалога.
Еще один повод переделать сценарий — когда клиенты постоянно просят позвать оператора, не получив нужный ответ от бота.

Сколько конверсий совершили пользователи?
Для оценки количества конверсий можно использовать Статистику результатов в конструкторе Aimylogic. Ты можешь разметить сценарий бота и добавить интересующие результаты: например, когда пользователь отправил боту свои контактные данные или согласился на обратный звонок оператора. Когда диалог с пользователем дойдет до заданной цели, чат-бот запишет это в статистику.
Как настроить отслеживание результатов

Сколько раз диалог перевели на оператора по инициативе бота?
Эта метрика показывает, как часто бот совсем не понимает пользователя. Если чат-бот постоянно по своей инициативе переводит диалог на оператора, сценарий нужно дорабатывать. Для этого следует добавлять новые интенты и ветки диалога.
Как использовать блок Интенты

Каков индекс удовлетворенности ботом?
После завершения диалога бот может попросить пользователя оценить проделанную работу. Например, по пятибалльной шкале. Каждый раз, когда ты улучшаешь бота, обязательно замеряй, как этот показатель растет или снижается.

Количество вернувшихся пользователей показывает, насколько бот был полезен. Это хорошая метрика, чтобы отслеживать динамику удовлетворенности ботом. Однако такой показатель обычно не связан напрямую с бизнес-ценностью бота, поэтому он не является определяющим.

2. Поиск и исправление непонятных для чат-бота моментов

Например, пользователи часто спрашивают про режим работы (когда закрывается или открывается магазин, работает ли магазин по выходным и т. п.). Все эти запросы можно объединить в один интент — режим работы.

В Aimylogic есть сервис распознавания естественной речи, который анализирует все фразы пользователя и самостоятельно дополняет интенты синонимами и словоформами. В результате твой чат-бот раз от раза становится все умнее.

Пользователи могут задавать не только известные тебе вопросы из FAQ-базы, но и те вопросы, которые невозможно изначально предусмотреть. Кроме того, многие клиенты имеют обширный опыт общения с другими чат-ботами, так что они заранее ожидают, что бот сможет рассказать про услуги, цены, ограничения или другие специфические для отрасли вещи. Если ты видишь, что пользователи часто задают подобные вопросы в диалогах, просто добавь дополнительные темы и интенты.

Как бы тщательно ты ни прорабатывал сценарий, всегда найдутся пользователи, которые дадут нестандартный ответ или зададут вопрос, не предусмотренный сценарием. Работа над сценарием никогда не заканчивается!

Правильно ли бот понимает реплики клиентов?
Следи за тем, чтобы бот верно понимал фразы пользователей и относил их к правильным интентам. Читай диалоги пользователей, чтобы убедиться, что бот не путает стоимость доставки и стоимость упаковки и не допускает других подобных ошибок. Чтобы избежать недопонимания, дополняй интенты конкретными примерами пользовательских фраз.

Сколько было конверсий в лид и продаж?
Эти метрики называются верхнеуровневыми. Чем больше достижений таких целей, тем ценнее чат-бот для бизнеса. и тем полезнее он для пользователя. Не забудь разметить сценарий, чтобы отслеживать этих результаты (выше мы уже рассказывали, как это сделать).

3. Статистика достижения целей бизнеса

Сколько было успешных диалогов?
Успешными считаются те диалоги, в которых пользователь смог решить свою задачу без привлечения оператора. Этот показатель особенно важен при использовании чат-бота для автоматизации первой линии поддержки. Количество успешных диалогов подскажет тебе, сколько времени ты сэкономил команде поддержки пользователей.
Чтобы посчитать эту метрику, можно заранее пометить успешное завершение диалога специальной целью и отслеживать количество достижений этой цели в Статистике результатов.

Насколько качественными были лиды?
Рекомендуем подключить CRM-систему, чтобы автоматически генерировать и сохранять заявки из чат-бота именно туда. Так ты сможешь определить, сколько таких заявок конвертировалось в сделку. Размер выручки также поможет тебе оценить ROI (окупаемость) всего проекта по созданию и внедрению чат-бота.

Читайте также: