Кейс 3: проверка A/B-теста

Это кейс, а не урок. Здесь нет заданий с проверкой. Вы проверяете результат A/B-теста и даёте рекомендацию. Правила работы — на странице Аналитические кейсы.

Решайте сами, без AI. Ответы откройте только после того, как попробовали сами: разбор.

Задача

Yammer не только делает новые функции. Компания постоянно улучшает и старые. Перед выпуском функции для всех клиентов её обычно проверяют в A/B-тесте. Тест показывает, как функция влияет на поведение пользователей.

Этот кейс про «публикатор» (publisher). Это блок вверху ленты Yammer, где пользователь пишет сообщение. Команда продукта сделала новую версию публикатора.

A/B-тест шёл с 1 по 30 июня:

пользователи, которые заходили в Yammer, видели либо старую версию (control_group),
либо новую версию (test_group).

1 июля вы смотрите результаты. Сообщений в тестовой группе на 50% больше. Это очень большой рост.

Как читать результат теста

Результат — таблица по группам. Вот что значат колонки:

Колонка	Что это
`users`	Сколько пользователей увидели эту версию.
`total_treated_users`	Сколько пользователей получили любую версию.
`treatment_percent`	Доля группы среди всех пользователей теста.
`total`	Сколько сообщений написала группа.
`average`	Среднее число сообщений на пользователя: `total / users`.
`rate_difference`	Разница средних: среднее группы минус среднее контрольной.
`rate_lift`	Разница в процентах: `среднее группы / среднее контрольной - 1`.
`stdev`	Стандартное отклонение сообщений на пользователя.
`t_stat`	Статистика, которая показывает, различаются ли средние. Считается по средним и стандартным отклонениям двух групп.
`p_value`	Вероятность увидеть такую разницу случайно. Малое значение — разница значима.

Для сравнения средних тест использует t-критерий Стьюдента. Он двусторонний: тестовая группа может быть как лучше, так и хуже контрольной.

Ваша задача: понять, настоящий это успех или слишком хорошо, чтобы быть правдой. Команда продукта ждёт совета. Дайте как можно больше информации о том, что произошло.

Первый шаг: ориентация

Не открывайте данные сразу. Сначала запишите:

Почему результат может выглядеть так? Составьте список гипотез.
Как вы проверите каждую гипотезу?

Для справки: такой рост поведения, как +50% к публикациям, встречается крайне редко.

Данные

Нужны четыре таблицы. Данные не настоящие. Мы сгенерировали их сами.

`tutorial.yammer_users`

Одна строка на пользователя.

Колонка	Что это
`user_id`	Уникальный ID пользователя.
`created_at`	Когда пользователь зарегистрировался.
`state`	Статус: `active` или `pending`.
`activated_at`	Когда пользователь активировался.
`company_id`	ID компании.
`language`	Язык пользователя.

`tutorial.yammer_events`

Одна строка на событие.

Колонка	Что это
`user_id`	Кто совершил событие.
`occurred_at`	Когда.
`event_type`	`signup_flow` (регистрация) или `engagement` (работа с продуктом).
`event_name`	Конкретное действие: `login`, `send_message`, `like_message`, `home_page`, `view_inbox`, поиск и шаги регистрации.
`location`	Страна (по IP).
`device`	Устройство.
`user_type`	Тип пользователя (число). Это грубо «кто пишет» и «кто читает».

`tutorial.yammer_experiments`

Какие пользователи в какой группе эксперимента. Должна быть одна строка на пользователя на эксперимент.

Колонка	Что это
`user_id`	Пользователь.
`occurred_at`	Когда пользователь попал в группу.
`experiment`	Название эксперимента. В нашей базе это `publisher_update`.
`experiment_group`	Группа: `test_group` — новая версия, `control_group` — старая.
`location`	Страна на момент попадания в группу.
`device`	Устройство.

Таблица нормального распределения

В оригинале есть четвёртая таблица со значениями нормального распределения. Она нужна для расчёта p_value. В нашей базе её нет. Она вам не понадобится.

Что нужно сделать

Пройдите по своему списку гипотез. Мы советуем такие шаги:

Проверьте, что тест посчитан правильно. Верен ли расчёт роста и значимости? Постройте запрос сами: возьмите пользователей из yammer_experiments, посчитайте для каждого send_message с момента попадания в группу до 1 июля, потом сгруппируйте по группам.
Проверьте другие метрики. Результат не должен держаться на одной метрике. Какие ещё метрики важны? Растут ли они?
Проверьте данные. Нет ли проблем с тем, как пользователей распределили по группам? Если есть, что нужно сделать, чтобы это исправить?
Дайте итоговую рекомендацию. Выпускать новый публикатор для всех? Перезапустить тест? Если да, что изменить? Или отказаться от функции?

Когда закончите, откройте разбор.