17 ноября я выступил на онлайн-дне Матемаркетинга и рассказал, как мы в PEREPLAN собрали свою платформу аналитики, с которой удобно работать ИИ-агентам. Это расширенная версия доклада с примерами из наших данных и чек-листом для проверки своей компании.
Хотелось, чтобы любой человек в команде мог обычными словами попросить агента разобрать путь клиента целиком: от первого визита на сайт через разговор с менеджером до оплаты. Спросить и получить ответ с примерами, вместо того чтобы открывать пять систем и сводить выгрузки в таблицу.
Для этого пришлось сохранить подробную историю поведения на сайте, связать её со звонками, заявками и CRM, а данные подготовить так, чтобы агент мог их читать, а мы - проверять его выводы.
Почему привычной аналитики агенту мало
У нас, как у многих, уже было несколько слоёв аналитики: Яндекс.Метрика, телефония, CRM и сквозная аналитика. По ним видно, откуда пришёл клиент, оставил ли заявку, позвонил ли и чем закончилось обращение.
Когда начинаешь улучшать конверсию, этого перестаёт хватать. Нужно понимать, что человек делал на сайте до обращения: какие блоки попадали в область просмотра, куда он нажимал, пытался ли заполнить форму. И что происходило перед уходом, если заявки так и не было.
За отсутствием заявки стоят разные ситуации. Посетитель мог не дойти до формы, мог начать её заполнять и бросить, а мог нажать на кнопку, которая не сработала. Каждой ситуации нужно своё исправление, и по отчёту о конверсии их не различить.
Для таких вопросов есть Вебвизор. Но запись в плеере рассчитана на человека, который сядет и посмотрит её. Агенту нужна последовательность действий в виде данных: события, которые можно отбирать, сравнивать между визитами и связывать с обращениями.
Мешает и срок хранения. Вебвизор хранит записи 15 дней, включая текущий. Если клиент обратился через месяц после первого визита, начала его истории уже не будет.
Свой архив сессий
Поэтому мы стали вести собственный архив. Действия на странице записываем открытой библиотекой rrweb: она сохраняет события, по которым потом можно воспроизвести визит. Записи сжимаем и складываем в недорогое S3-совместимое хранилище. Срок хранения теперь определяем сами.
Второй вопрос касается полноты сбора. По нашим оценкам, 10-15% посетителей пользуются блокировщиками рекламы, а они могут резать и передачу данных в аналитику. Поэтому события уходят на наш собственный поддомен, а уже оттуда в обработку и архив. Часть блокировок это снимает. Собрать абсолютно все события всё равно не получится, и обещать этого не стоит.
Отдельно про узнавание вернувшегося посетителя. Повторные визиты связываются через идентификатор браузера в cookie. Сколько он проживёт, зависит от браузера и действий пользователя, и свой поддомен год хранения не гарантирует. И это именно браузер: если человек зайдёт с телефона, для системы это будет другой посетитель.
Связываем сайт, заявку, звонок и CRM
Раньше сайт и Битрикс24 жили отдельно. На сайте мы видели визиты и действия, в CRM лежали лиды, разговоры и дальнейшая работа с клиентом. Мостиком служил Roistat ID. Для своей аналитики мы добавили собственные идентификаторы и провели их через все системы.
Как это устроено:
- Когда посетитель приходит на сайт, браузер получает идентификатор, и с ним связывается вся история визитов.
- При отправке формы идентификатор и номер заявки уходят вместе с ней в скрытых полях. Посетителю ничего заполнять не нужно.
- В Битрикс24 оба значения попадают в отдельные поля карточки лида.
- Для звонков работает динамический коллтрекинг. В интеграцию с Mango мы передаём наш идентификатор дополнительным параметром, и разговор можно сопоставить с визитом.
Если человек не оставил заявку, у нас остаётся история его поведения. Если обратился, визит связывается со всеми следующими этапами. По этой цепочке связей агент и собирает доступную историю обращения целиком.
Стек: что мы собрали и почему не взяли готовое
Сначала мы проверили вариант на зарубежных сервисах. На тестовом проекте собирали цепочку с PostHog, а центральным хранилищем в такой схеме может быть BigQuery. Схема рабочая, но обычная выгрузка событий из PostHog ещё не означает, что у вас сохранена полная запись визита. Архив записей приходится организовывать отдельно.
Для основной системы мы выбрали свой стек. Причин две.
Первая - контроль над данными. Нам важно самим управлять тем, где данные хранятся и обрабатываются, и учитывать требования российского законодательства о персональных данных. Поэтому инфраструктура стоит в российском контуре.
Вторая - компактность. Вместе с ИИ-агентами мы разобрали устройство открытых проектов, в том числе PostHog: как там собираются события, пишутся сессии и хранятся данные. В готовых платформах много возможностей, которые нам не нужны, а ресурсы и поддержку они требуют всё равно. Мы взяли то, что нужно под наши сценарии.
| Компонент | Что делает |
|---|---|
| rrweb | Записывает действия посетителя на странице |
| FastAPI | Принимает события с сайта |
| Python | Готовит данные для анализа и сверяет идентификаторы |
| S3-хранилище | Хранит сжатые записи визитов |
| PostgreSQL | Хранит события, короткие сводки визитов, связи с заявками из Битрикс24 и звонками из Mango |
| Neo4j | Представляет путь клиента в виде графа |
| ИИ-агент | Отвечает на вопросы со ссылкой на данные |
Получается два места хранения с разными задачами. В файловом архиве лежат объёмные записи. В базе лежат данные для запросов и ссылки на эти файлы.
Вся аналитика работает на недорогом сервере в России. На момент замера на всём сервере было занято около 950 МБ оперативной памяти. Аналитика не должна мешать работе сайта и отправке заявок, поэтому за нагрузкой и на сервер, и на устройство посетителя мы следили с самого начала.
Зачем нам граф
Путь клиента редко бывает прямым. Человек приходит несколько раз, иногда на разные наши сайты. Сначала читает статьи, а через сутки возвращается на страницу услуги и оставляет заявку.
Для таких историй мы используем графовое представление в Neo4j. Это карта, где узлы обозначают посетителей, визиты, страницы и обращения, а рёбра показывают установленные связи между ними. PostgreSQL остаётся основным хранилищем, в граф попадают уже подготовленные объекты.
По связям графа удобно идти шаг за шагом и собирать контекст под вопрос: найти предыдущие визиты перед заявкой, посмотреть открытые страницы, сравнить похожие пути. Те же задачи решаются и SQL-запросами, граф просто удобнее для разветвлённых историй. Отсутствующие связи он сам не восстановит: если идентификатор не передали, связи не будет.
Пример: путь к заявке через два сайта
Агент может идти по графу как детектив, начиная с заявки и шаг за шагом выясняя, что было до неё.
9 ноября посетитель пришёл из Google на наш петербургский сайт и посмотрел три статьи: про перепланировку однушки, про объединение кухни с гостиной и про увеличение санузла. Заявки в этом визите не было.
Через 17 часов 37 минут тот же браузер пришёл из Google на основной сайт, на страницу согласования перепланировки. Примерно через 19 секунд после начала визита сайт принял заявку.
По одной записи последнего визита мы увидели бы 19 секунд от входа на страницу до отправки формы и решили бы, что человек пришёл уже готовым. На деле за этим решением стоят три статьи на другом сайте накануне. Общий идентификатор связал визиты, граф помог найти и показать этот путь.
Похожая история с портфолио. Посетитель пришёл из Google на страницу услуги в Балашихе, посмотрел примеры работ и ушёл без заявки. Через 7 часов 3 минуты тот же браузер вернулся: начал с портфолио, открыл страницу перепланировки в новостройке и оставил заявку. По странице отправки формы мы увидели бы только услугу. А в истории видно, что портфолио человек открывал в обоих визитах.
На таких находках мы ищем повторяющиеся пути, сравниваем время до обращения и проверяем, удобно ли перейти от статьи или примера работы к заявке.
Что агент уже нашёл на сайте
Обычно аналитик открывает Вебвизор и смотрит записи по одной. Когда посетителей тысячи, вручную это не масштабируется.
В нашей схеме агент получает подготовленные данные о визите: страницы, клики, взаимодействия с формой и результат, например принята ли заявка. Из них он собирает короткое описание сессии вроде «открыл страницу услуги, посмотрел примеры работ, начал заполнять форму, но не отправил». Такие описания уже можно сравнивать: сколько людей начинают форму и останавливаются, что делают перед заявкой, как ведут себя вернувшиеся посетители.
Признаки, по которым агент ищет проблемы в событиях, мы свели в одну таблицу.
За первые недели работы система помогла найти конкретные проблемы:
- Дубли заявок. Посетитель начинал заполнять форму на странице, тут появлялось всплывающее окно. Он отправлял заявку через него, возвращался к первой форме и отправлял её ещё раз. По записи действий стало понятно, откуда берутся дубли.
- Ввод телефона. В поле уже стоял «+7», а человек начинал номер с восьмёрки или вводил код страны повторно. В некоторых случаях форма обрабатывала такой ввод неправильно. Сценарии нашли, ошибки исправили.
- Подозрительные обращения. Если заявка отправлена очень быстро и есть другие признаки автоматической отправки, она получает пометку «возможно, бот». Сама заявка всё равно уходит менеджеру, уже с этой информацией.
- Мобильная вёрстка. Повторные нажатия на кнопки связи подсказали, что на некоторых экранах плавающая кнопка перекрывает другую. На одном телефоне всё нормально, на другом посетитель не может нажать нужное.
Агент отбирает такие случаи, а решение, что исправлять, принимает команда. Дальше хотим превратить найденные пути в тесты: после обновления сайта браузерный агент повторит путь реального посетителя, заполнит форму и проверит результат.
Звонки: от разговоров к задачам клиентов
Второе направление - речевая аналитика. Звонки мы расшифровываем с разделением на реплики клиента и менеджера и разбираем по Jobs to Be Done (JTBD). Проще говоря, группируем обращения по задаче, которую клиент хочет решить с нашей помощью.
В каждом разговоре ищем одно и то же: с какой ситуацией человек пришёл, какого результата хочет, что его беспокоит и что мешает принять решение.
За девять месяцев мы собрали для анализа около 11 тысяч коммуникаций: звонков, чатов и писем. Для разбора по JTBD отобрали около 4%. Отбирали по содержанию: нужны записи, где клиент рассказывает о своей задаче, а это есть далеко не в каждом разговоре.
Потребности оказались разными. Одним важны надёжность и ответственность, другим цена или скорость. Кто-то хочет передать всю задачу под ключ, а кто-то контролирует каждый этап. Среди 95 записей, где удалось выделить главный приоритет клиента, распределение получилось таким:
Потом мы сопоставили клиентские сценарии с результатами продаж. Клиенты, которым нужно согласование перепланировки под ключ, чаще доходят до оплаты, чем те, для кого на первом месте цена. Интуитивно это можно было предположить. Теперь у нас есть данные, на которые можно опереться при выборе приоритетов.
Сейчас мы проверяем эту гипотезу в A/B-тесте. На новой версии посадочной страницы подробнее объясняем, какие документы готовим, кто общается с госорганами и что потребуется от самого клиента. Сравниваем, как часто посетители каждой версии оставляют заявку и доходят до оплаты.
Маркетингу эта база помогает выбирать темы для рекламы и готовить отдельные посадочные страницы под сценарии. Формулировки для них берём из реальных разговоров, то есть пишем словами клиентов. Раньше для такого исследования приходилось выделять время на прослушивание звонков. Теперь агент готовит материал, а команда проверяет выводы.
Те же расшифровки помогают сравнивать менеджеров. Мы смотрим, как разные люди ведут похожие обращения: какие вопросы задают, как объясняют процесс, как отвечают на сомнения. Честно сравнивать можно только похожие ситуации с поправкой на качество лидов. Зато удачные приёмы потом можно разобрать на конкретных записях и передать команде.
Как сделать ответы агента проверяемыми
Подключить агента к базе недостаточно. Ему нужно объяснить данные, ограничить доступ и сделать каждый ответ проверяемым.
Правила интерпретации. Нужно заранее записать, что мы называем визитом, заявкой и лидом, чем принятая заявка отличается от продажи и как учитывать повторы. Без этих определений даже на правильных данных получится неправильный вывод. Для типовых вопросов, например как считать заявки за период или сравнивать источники, стоит подготовить проверенные запросы.
Проверяемость. Если спрашиваем о количестве заявок, агент обязан сходить в базу и получить результат. Цифра из памяти модели не годится. В ответе должно быть видно, за какой период посчитано, какие фильтры использованы и на чём основан вывод. Показать SQL мало, нужен журнал выполненного запроса и его результата. Если данные получить не удалось, агент должен прямо об этом сказать.
Права доступа. Для аналитики даём только чтение и только нужные данные. Инструкция агенту здесь не защита, ограничения должны стоять на стороне базы и инструментов. Подключение удобно делать через MCP-сервер, то есть слой инструментов, через который агент обращается к данным. Там можно ограничить доступные операции и объём выдачи. Доступ для разработки и изменения базы держим отдельно от доступа для анализа.
Каждый ответ тогда раскладывается на вопрос, выполненный запрос, результат и вывод. По этой цепочке всегда видно, откуда взялись цифры, и это особенно важно, когда обсуждаем деньги.
Проверьте свои данные на одном лиде
Начать можно с простого теста. Возьмите один лид из CRM и пройдите назад: найдите связанный звонок или заявку, затем визит на сайт. Если по этим данным понятно, откуда пришёл человек и что делал перед обращением, база для такой аналитики у вас уже есть.
Вопросы для самопроверки:
- Сохраняется ли ClientID Метрики (или ваш идентификатор браузера) вместе с заявкой?
- Передаётся ли он дальше в карточку лида в CRM?
- Можно ли связать звонок с визитом на сайт через коллтрекинг?
- Хранятся ли записи визитов дольше, чем длится ваш цикл сделки?
- Есть ли у вас письменные определения визита, заявки, лида и продажи?
Один ID во всех инструментах иметь необязательно. Хватит связей, по которым можно восстановить путь обращения. Если цепочка рвётся, агент тоже не соберёт историю, поэтому сначала нужно наладить передачу идентификаторов.
Об этом стоит подумать уже сейчас, даже если вы пока не знаете, как будете анализировать данные. Инструменты появятся новые. А связь между визитом и обращением, которая не сохранилась сегодня, задним числом восстановить не получится.
Как собрать такую систему у себя
Систему можно собрать из доступных сервисов и подключить к ней свои данные. Я выложил инструкцию по сборке и запуску: она описывает, как свести события сайта, записи визитов, звонки и данные CRM в одну базу и дать к ней доступ агенту.
Инструкция на GitHub: github.com/Dmitriy-deov/analytics-agent-guide.
Спасибо Матемаркетингу
Спасибо Алексею Никушину и всей команде Матемаркетинга за возможность выступить.
Если пропустили онлайн-день, пять из пятнадцати докладов можно посмотреть бесплатно. В программе аналитики из Авито, Сбера, Т-Банка, «Магнита», X5 и VK. После регистрации ищите в программе отметку «Открытый доступ».
А если хотите прийти на очную часть 26-27 ноября, у меня есть промокод для коллег: SPEAKERTEAM даёт скидку 10 000 ₽ на билеты на Матемаркетинг.