Escaping the Build Trap, глава 16: Направление и метрики успеха
Главная мысль: направление задают данные. Нужна не одна метрика, а система метрик: опережающие для быстрых решений и запаздывающие для итога.
Кейс Marquetly: инициатива в цифрах
Заголовок раздела «Кейс Marquetly: инициатива в цифрах»Команда пришла к руководителю (Jen) не с идеей, а с расчётом.
Что знали из данных:
| Факт | Значение |
|---|---|
| Retention через 6 месяцев | 40% |
| Посетители, которые не зарегистрировались из-за нехватки курсов (опрос на сайте, есть статистическая значимость) | 55% ответивших |
| Потенциально теряем регистраций | 82 500 человек в месяц |
| Ушедшие пользователи, которым не хватило курсов | 90% |
| Потери выручки из-за оттока | 180 000 $ в месяц |
Дальше команда поставила реалистичные цели. 100% не удержать и не привлечь. Поэтому:
- retention с 40% до 70%;
- привлечение — в 2 раза.
Вместе это дало чуть больше 8 млн $ в год. Это близко к цели стратегии: рост выручки на 30%. Инициатива закрывала примерно половину цели. Jen одобрила.
Как команда пришла к option statement
Заголовок раздела «Как команда пришла к option statement»Christa вела опцию «больше курсов от текущих преподавателей». За неделю команда собрала данные двумя способами:
- UX-дизайнер сделал открытый опрос преподавателей;
- ведущий разработчик выгрузил из базы и событий время от начала курса до публикации.
Что нашли:
- в среднем 61 день от старта курса до публикации;
- больше 75% начатых курсов так и не публикуются;
- процесс неудобный и с багами, не хватает функций (например, аудио-уроков).
Затем команда выбрала leading indicators — то, что сдвинется первым:
- доля опубликованных курсов;
- доля преподавателей, которые создают второй курс.
Сняли baseline и записали option statement: сделать создание курсов быстрее и проще, поднять долю публикаций до 50%, долю вторых курсов до 30%. Karen попросила уточнить его после исследования проблемы.
Vanity metrics и output-метрики
Заголовок раздела «Vanity metrics и output-метрики»Продуктовые метрики показывают здоровье продукта, а значит и бизнеса. По ним задают направление.
Две частые ошибки:
| Тип | Пример | Почему плохо |
|---|---|---|
vanity metrics | Число пользователей, просмотры, логины | Всегда растут. Красиво для инвесторов. Не меняют решений |
| Output-метрики | Число фич, story points, user stories | Это продуктивность, а не результат. Не связаны с бизнесом |
Как исправить vanity metric: добавьте время и контекст. «Пользователей больше, чем в прошлом месяце? Что мы сделали иначе?»
Pirate Metrics (AARRR)
Заголовок раздела «Pirate Metrics (AARRR)»Автор — Дейв Макклюр (500 Startups). Это воронка жизненного цикла пользователя:
| Этап | Что значит |
|---|---|
| Acquisition | Пользователь нашёл продукт и зарегистрировался |
| Activation | Первый шаг к хорошему опыту. В Marquetly — пройти начальный тест, чтобы понять, какие курсы брать |
| Retention | Пользователь возвращается |
| Referral | Пользователь советует продукт другим |
| Revenue | Пользователь платит |
- Acquisition и activation легко спутать. Регистрация — ещё не активация.
- Хорошая активация ведёт к retention позже.
- Порядок подходит для consumer-продуктов с freemium. В B2B с отделом продаж выручка приходит до активации. Порядок этапов можно менять под свой продукт.
- Конверсия по шагам показывает, где люди отваливаются.
- Число людей на каждом этапе позволяет работать с этой когортой.
Pirate Metrics не говорят про удовлетворённость. Поэтому Керри Родден из Google сделала HEART. Его чаще применяют к одному продукту или фиче.
| Буква | Метрика | Что меряет |
|---|---|---|
| H | Happiness | Насколько пользователь доволен |
| E | Engagement | Как часто пользуется |
| A | Adoption | Первое использование (близко к activation) |
| R | Retention | То же, что в AARRR |
| T | Task success | Насколько легко сделать нужную задачу |
Система метрик, а не одна
Заголовок раздела «Система метрик, а не одна»- Любая продуктовая работа в итоге влияет на выручку или затраты. Так метрики продукта связаны с бизнесом.
- Метрики нужны на каждом уровне: инициатива и опция.
- Одну метрику легко «накрутить», если смотреть только на неё.
- Поэтому нужны mutually destructive pairs — метрики, которые уравновешивают друг друга. Их может быть больше двух.
- Пример: Marquetly растит привлечение. Но следит, чтобы retention новых пользователей не упал ниже порога.
Leading и lagging indicators
Заголовок раздела «Leading и lagging indicators»| Lagging | Leading | |
|---|---|---|
| Пример | Retention | Activation, happiness, engagement |
| Когда видно | Через месяцы | Быстро |
| Можно действовать сразу | Нет | Да |
- Чтобы найти leading indicators для retention, поймите, что удерживает людей. Например, удовлетворённость и использование.
- Метрики опций обычно leading. Метрики инициатив — lagging.
- Длина метрики должна совпадать с длиной ставки.
- Leading-метрики на уровне опции защищают от сюрпризов, когда придут итоговые цифры инициативы.
Платформа метрик и реалистичные цели
Заголовок раздела «Платформа метрик и реалистичные цели»- Одно из первых дел компании — внедрить платформу метрик. Своя или готовая — не важно.
- Примеры из книги: Amplitude, Pendo.io, Mixpanel, Intercom, Google Analytics. Intercom и Pendo.io также помогают собирать обратную связь.
- Без такой платформы product-led компания не может принимать решения на данных.
- Цели ставят реалистично: опросы, аналитика, исторические тренды. Marquetly знала, что 80 000 новых пользователей в месяц не будет. Но удвоение было реально.
- Метрики успеха нельзя поставить без исследования проблемы. Об этом следующая глава.
Ключевые термины
Заголовок раздела «Ключевые термины»| Термин | Значение |
|---|---|
vanity metric | Метрика, которая всегда растёт и не влияет на решения |
actionable metric | Метрика с временем и контекстом, по ней можно действовать |
AARRR | Pirate Metrics: acquisition, activation, retention, referral, revenue |
HEART | Happiness, engagement, adoption, retention, task success |
mutually destructive pairs | Парные метрики, которые не дают накрутить одну за счёт другой |
leading indicator | Опережающая метрика, видна быстро |
lagging indicator | Запаздывающая метрика, видна через месяцы |
baseline | Текущее значение метрики до изменений |
Что это значит на практике
Заголовок раздела «Что это значит на практике»- Помогите с расчётом инициативы. Цифры Marquetly (retention 40%, 82 500 потерянных регистраций, 180 000 $ оттока) кто-то посчитал. Это работа аналитика и дата-инженера. Держите в хранилище модели, из которых такой расчёт делается за час: воронка, когорты retention, выручка по пользователю.
- Стройте воронку AARRR как модели
dbt. Одна строка — один пользователь, по колонке с датой на каждый этап. Определение каждого этапа (что такое activation) согласуйте с продактом письменно. Для B2B порядок этапов другой — не зашивайте его жёстко. - Каждой метрике — пару. Если делаете дашборд по привлечению, рядом покажите retention этих же когорт. Предложите это продакту сами. Это защищает от накрутки одной метрики.
- Разделите leading и lagging на дашборде. Leading (activation, доля опубликованных курсов) обновляйте ежедневно. Lagging (retention 6 месяцев) — по когортам, без ложной точности на свежих данных.
- Baseline до релиза. Option statement требует текущее значение. Сохраняйте снимки метрик по датам (snapshot или
incremental-таблица). Иначе после релиза не с чем сравнить. - Не путайте продуктивность с результатом. Число закрытых тикетов или выпущенных моделей — output. Для своей платформы данных тоже ищите outcome: сколько решений приняли по витрине, сколько людей ей пользуются.
Вопросы для самопроверки
Заголовок раздела «Вопросы для самопроверки»- Как превратить vanity metric в actionable metric? Приведите пример.
- Чем acquisition отличается от activation? Как меняется порядок AARRR в B2B?
- Зачем нужны mutually destructive pairs? Какую пару выбрала бы Marquetly?
- Почему метрики опций обычно leading, а метрики инициатив — lagging?
Предыдущая: 15. Product Kata. Следующая: 17. Исследование проблемы.