Lean Analytics, глава 2: Как вести счёт

Главная мысль: считайте не всё подряд, а то, что меняет ваши решения. Цель стартапа на раннем этапе — найти product/market fit, пока не закончились деньги.

Признаки хорошей метрики

Признак	Что значит	Пример
Сравнимая	Можно сравнить по времени, группам, конкурентам	Конверсия этой недели к прошлой
Понятная	Команда легко обсуждает её и запоминает	«Доля платящих»
Отношение (ratio, rate)	Даёт действие, а не просто число	Скорость, а не только расстояние
Меняет поведение	После неё команда делает что-то иное	Если число упало, мы знаем, что менять

Типы метрик

Метрики делят по четырём осям.

• Качественные и количественные. Качественные (интервью, мнения) отвечают «почему». Количественные отвечают «сколько».
• Vanity и actionable. Vanity приятно видеть, но они не меняют решения. Actionable показывают, что менять.
• Exploratory и reporting. Reporting следят за известным («known knowns»). Exploratory ищут неизвестное («unknown unknowns») и дают шанс на открытие.
• Leading и lagging. Leading предсказывают будущее, например число лидов в воронке. Lagging показывают прошлое, например churn. Обе могут быть полезны, но leading позволяют действовать заранее.

Vanity-метрики, которых лучше избегать

• Число hits и просмотров страниц
• Число визитов и уникальных посетителей
• Подписчики и лайки
• Время на сайте
• Собранные email
• Число загрузок

Они редко связаны с деньгами и ростом бизнеса.

Корреляция и причинность

• Корреляция помогает предсказывать.
• Причинность помогает менять результат.
• Чтобы найти причину, нужен контролируемый эксперимент.

Кейс: Circle of Moms

• Сервис Circle of Friends привлёк миллионы пользователей, но вовлечённость была низкой.
• Анализ поведения показал: матери вовлечены сильнее остальных.
• Команда сменила фокус и стала Circle of Moms. Вовлечённость выросла.

Урок: сегментируйте пользователей. Среднее по всем скрывает сильную группу.

Кейс: HighScore House

• Команда задала цель по вовлечённости, исходя из своих предположений.
• Отзывы клиентов показали: реальное использование другое.
• Они изменили определение «активного пользователя». Метрика стала точнее.

Урок: определение метрики тоже гипотеза. Меняйте его открыто и записывайте изменения.

Как проверять изменения

• Сегментация. Сравнивайте группы пользователей между собой.
• Когортный анализ. Сравнивайте пользователей по времени прихода.
• A/B-тест. Две версии одновременно, одна метрика.
• Мультивариантный тест. Несколько изменений сразу, чтобы увидеть вклад каждого.

Цикл Lean Analytics

Метрику надо периодически пересматривать. Если она не помогает решать, замените её.

Для дата-инженера

• Каждая метрика должна иметь точное определение. Его нужно хранить в одном месте (semantic layer, dbt-модель).
• Для когорт нужна дата первого действия пользователя.
• Для A/B-тестов нужны лог назначения в группу и событие результата.
• Меняется определение метрики — сохраните версию. Иначе сравнение «до и после» будет неверным.

Вопросы для самопроверки

• Какие три метрики вы показываете руководству? Какие из них vanity?
• Какая из ваших метрик leading, а какая lagging?
• Когда вы последний раз удаляли метрику из отчёта?

Предыдущая глава: 1. Мы все лжём.