The Engineering Executive's Primer, глава 6: Измерение инженерной организации
Главная мысль: начинайте с метрик для себя, а отчёты для CEO, Finance и коллег собирайте из них. Лучше быстро измерить что-то простое, чем годами готовить идеальную метрику.
О чём глава
Заголовок раздела «О чём глава»О метриках в инженерии спорят все: story points, OKR, частота инцидентов. Уилл Ларсон считает, что в каждой позиции есть зерно правды, а разочарование в метриках преувеличено. После главы 5 про ценности организации глава отвечает на вопрос: что мерить и для кого. Темы: четыре группы метрик для себя, четыре вида стейкхолдеров, порядок внедрения, антипаттерны и проверка данных.

Слева группы метрик для себя, справа стейкхолдеры. Сплошные стрелки показывают, что можно переиспользовать, пунктир показывает, чего делать не стоит.
Измерение для себя
Заголовок раздела «Измерение для себя»CEO часто просит «слайд про инженерию для совета директоров». Сначала решите, что нужно знать вам самому. Автор делит это на четыре группы.
Метрики Plan помогают выбрать проекты на квартал или год. Нужно одно место, где виден эффект проектов для бизнеса, продукта и инженерии. Одному Product планирование не отдать: миграцию базы продакт-менеджер в roadmap не внесёт. Начните с числа выпущенных проектов по командам и эффекта каждого.
Operate
Заголовок раздела «Operate»Метрики Operate показывают качество ежедневной работы. Если оно падает, есть повод отойти от долгосрочной стратегии. Для старта подходят:
- число инцидентов, у каждого свой
incident review; - минуты простоя и задержка (latency) API и сайта;
- затраты на инженерию, поделённые на бизнес-метрику (cost to serve главного API: расходы за месяц, делённые на число запросов);
- оценки продукта в App Store и процент посетителей, ставших клиентами.
Optimize
Заголовок раздела «Optimize»Здесь вы изучаете инженерию как систему с петлями обратной связи. Начните с SPACE или его предшественника Accelerate: они описывают delivery lead time и deployment frequency, которые коррелируют с высокой продуктивностью. Если замеры внедрять тяжело, начните с опроса о продуктивности разработчиков (developer productivity).
Inspire
Заголовок раздела «Inspire»Эти метрики показывают, как инженерия меняет бизнес. Ведите список технических вложений, которые превратили «невозможное» в «очевидное», и говорите о них на общих встречах. Пример: каждому endpoint API дают лимит в общей capacity, и один медленный endpoint больше не роняет остальные.
Главный риск такой: вы ничего не меряете, потому что хотите мерить всё. Измеряйте маленькими итерациями.
Измерение для стейкхолдеров
Заголовок раздела «Измерение для стейкхолдеров»Смежные организации бывают стратегические (их оценивают по общему результату, например росту выручки) и тактические (по внутренней работе, например Customer Success по времени ответа на тикеты). Запросы похожи в разных компаниях и сводятся к четырём видам.
CEO и board
Заголовок раздела «CEO и board»Опытные менеджеры управляют через проверку: метрика, цель, отчёт о прогрессе (см. главу 17). Технические решения CEO оценить не может, поэтому судит о вас по выполнению целей. Берите метрики, которые уже ведёте, чаще всего Plan и Operate. Главная ошибка: просить CEO оценивать инженерию по метрикам Optimize. Большинство CEO не инженеры и не увидят, как эффективность инженерии превращается в пользу для бизнеса. К тому же эффективность лишь значит, что инженерия может быть полезной, а не что она полезна.
Finance
Заголовок раздела «Finance»У Finance три вопроса: как фактический headcount соотносится с бюджетным, как фактические затраты на вендоров соотносятся с бюджетными, какие затраты можно капитализировать вместо списания.
Пояснение: списанные затраты сразу уменьшают прибыль периода, а капитализированные распределяются на несколько лет. Детали в главе 4.
Автор советует заранее согласовать с Finance, как capacity распределяется между приоритетами. Позже бизнес-единицы начнут спорить, на чьи инициативы относить затраты на инженерию. Записанное заранее распределение сделает этот спор конструктивнее.
Стратегические коллеги
Заголовок раздела «Стратегические коллеги»Product, Design и Sales зависят от результата инженерии, поэтому заинтересованы в его росте. С ними обычно хватает метрик Plan.
Тактические коллеги
Заголовок раздела «Тактические коллеги»Customer Success или Legal хотят оценивать инженерию по конкретным числам: процент принятых тикетов, время решения. Они тактические не потому, что не умеют мыслить стратегически: их самих оценивают только по таким числам. Если они помогут инженерии работать на общий результат, их собственные цифры (например, время первого ответа на тикет) часто ухудшатся, и их сочтут отстающими. Найдите число, с которым согласны обе стороны, и регулярно проверяйте, отражает ли оно общую потребность.
Такие договорённости отнимают время, но заменяют хаотичные повторяющиеся споры понятным контрактом.
Порядок внедрения
Заголовок раздела «Порядок внедрения»Готовый список «что мерить первым» Ларсон составить не смог: слишком много контекста. Вместо него три правила:
- Трудные метрики берите, только если данные изменят решения. Иначе возьмите простой proxy.
- Лёгкие метрики берите ради доверия, даже неточные. Стейкхолдерам важнее ваше намерение и усилие, чем точность числа: метрика показывает, что вы готовы отвечать за свою работу.
- Вводите по одной новой метрике за раз: замеры ломаются, а данные бывают неверными незаметно.

Схема читается слева направо: сначала решаем, трудная ли метрика, потом обе ветки сходятся в правиле про одну метрику за раз.
Сначала измерьте хоть что-то для каждого адресата (для себя, для CEO, для Finance и так далее), чтобы получить базу, потом улучшайте слабые места.
Антипаттерны
Заголовок раздела «Антипаттерны»- Метрики вместо доверия. CEO получает метрики и просит другие. Обычно причина в недоверии: расспрашивайте CEO о его недовольстве, пока не найдёте настоящую проблему за просьбой о метриках.
- Идеальное вместо хорошего. Лучшие метрики требуют данных, которых нет, и через год вы не меряете ничего. Двигайтесь с любым разумным вариантом.
- Метрики Optimize для оценки работы. У команды мало pull request: она менее продуктивна или работает в сложной части кода? Оценивайте команды по Plan и Operate.
- Оценка людей вместо команд. Один инженер пишет код, другой «служит клеем»: убирает помехи, чтобы первый мог писать код. Данные по людям годятся для диагностики, но не для оценки.
- Страх, что метрики используют неправильно. CEO может возмутиться, что код выпускают дважды в неделю. Избегать этого не выход: объясняйте, как читать данные.
- Решение в одиночку. Приходите с позицией, но собирайте обратную связь. Новичок часто переносит на компанию опыт прошлой работы, и это подрывает доверие.
Как повысить доверие к данным
Заголовок раздела «Как повысить доверие к данным»После запуска метрики часто кажутся бесполезными. Стороны читают их по-разному: Finance недовольна ростом затрат на вендора БД, хотя общий бюджет в норме. Или метрики спорят с опытом команды: команда на Scala жалуется на сборку, хотя среднее время сборки падает. Метрики сами по себе ценности не дают. Она появляется, когда вы снова и снова проверяете данные и задаёте к ним вопросы.

- Смотрите данные раз в неделю за месяц, квартал и год, по возможности рядом с целью.
- Держите гипотезу, почему данные меняются. Затраты на запрос должны падать, когда растёт число запросов в секунду. Если вышло наоборот, копайте, пока не объясните, и уточните метрики.
- Не сидите с данными в одиночку. Люди с другим взглядом дают другие гипотезы.
- Делайте срезы. Если почти все пользователи в США, плохая надёжность в Европе останется невидимой. Средняя скорость сборки не значит, что у Scala-инженеров всё хорошо.
- Сравнивайте цифры с ощущениями. Сборки ускорились, но инженерам так не кажется: что вы упускаете?
Без этого легко быть data-driven, но делать неверные выводы.
Итоги главы
Заголовок раздела «Итоги главы»- Для себя меряйте четыре вещи: Plan, Operate, Optimize, Inspire.
- Для CEO переиспользуйте Plan и Operate, а не Optimize.
- Finance интересуют
headcount, затраты на вендоров и капитализация. - Тактическим коллегам нужны конкретные согласованные числа.
- Трудные метрики берите ради решений, лёгкие ради доверия, новые вводите по одной.
- Бесконечные запросы метрик от CEO часто значат недоверие.
- Данным можно верить после гипотез, срезов и разговоров с людьми.
Ключевые термины
Заголовок раздела «Ключевые термины»| Термин | Значение |
|---|---|
| Plan, Operate, Optimize, Inspire | Четыре группы метрик для себя |
| SPACE, Accelerate | Наборы метрик продуктивности инженерии |
| Стратегические и тактические коллеги | Их оценивают по общему результату или по внутренним числам |
| Capitalization | Учёт затрат как актива на несколько лет |
Что это значит на практике
Заголовок раздела «Что это значит на практике»- Начинайте с метрик Operate для данных: свежесть таблиц, инциденты, простой, cost to serve для
pipeline. - Не оценивайте команду data engineering по числу pull request. Смотрите на результат и надёжность.
- Делайте срезы по источникам и регионам: среднее скрывает плохой опыт.
Вопросы для самопроверки
Заголовок раздела «Вопросы для самопроверки»- Чем Plan отличается от Operate и почему Optimize их не заменяет?
- Почему не стоит показывать CEO метрики Optimize?
- Когда выбрать простой proxy вместо трудной метрики?
- Как срезы помогают, если среднее улучшается, а команда жалуется?
Предыдущая: Ценности организации. Следующая: Слияния и поглощения.