Перейти к содержимому
TelegramGitHub

Crafting Engineering Strategy, глава 13: Проверка стратегии (strategy testing)

Главная мысль: раннее давление на команды мешает понять, работает ли стратегия. Сначала проверьте её на узком срезе и поправьте детали, потом раскатывайте. Стратегии чаще падают из-за деталей, чем из-за идеи.

Предыдущая глава связала теорию с практикой. Здесь Уилл Ларсон разбирает инструмент для шага уточнения (глава 8): strategy testing. Автор называет его единственной идеей, которую хотел бы сделать популярной.

Две схемы: стратегия в стиле waterfall ведёт к провалу, а проверка на узком срезе даёт цикл правок перед раскаткой

Сверху waterfall, снизу проверка: срез, метрики, правки, потом rollout.

Strategy testing — это проверка того, что стратегия достигнет цели за цену, которую вы готовы платить. Поэтому её делают до внедрения, на ранних шагах.

Давление меняет поведение людей: они изображают выполнение, а на деле почти ничего не меняют (если стратегию вводит руководитель) или добиваются её отмены (если не руководитель). Раннее давление — частный случай waterfall: подход закрывают раньше, чем узнают уроки практики.

Пример: при миграции на сервисы (глава 16) сначала переведите один простой компонент, чтобы проверить инструменты миграции, и один сложный, чтобы проверить интеграцию. Проверять нужно до того, как стратегию утвердят, и узко: только саму механику. Мотивацию людей и конфликты интересов оставьте на потом.

Проверять можно не всё:

  • Разрешающая (permissive) стратегию (глава 4) дёшево применить, поэтому проверка не так важна: её саму можно считать тестом более жёсткой версии.
  • Иногда проверка невозможна: стратегии найма в новых регионах нужны годы, чтобы дать сигнал.
  • Иногда уверенность так высока, что проверка кажется лишней. Например, вы уже делали почти то же в этой компании. Автор относится к этому скептически: гордыня предшествует падению.

Всё равно ищите способ проверить: это намного дешевле плохой стратегии.

Возьмите самый узкий и глубокий срез стратегии и повторяйте на нём применение, пока не убедитесь, что оно работает. Для нового процесса релизов хватит одного важного релиза по-новому.

Подбирайте метрики влияния, а не принятия: например, меньше пострадавших клиентов. Исходите из того, что люди хотят добра, а стратегия проваливается из-за трения: лишней сложности, которая мешает начать. Если инструментом не пользуются, считайте, что он слишком сложен, а не что люди упрямы. Чего делать нельзя:

  • расширять проверку на области, где влияние кажется больше, но каждый цикл правок дольше;
  • так увлечься принуждением людей к новому подходу, что забыть улучшать саму механику;
  • привязываться к подходу: многие стратегии не работают, и узнать это рано дешевле.

Проверкой иногда руководит один человек, но чаще роли делятся на две.

Спонсор и гид связаны эскалацией, оба ходят на еженедельную встречу вместе с остальными участниками

  • Спонсор даёт полномочия: руководитель высшего звена или Principal-инженер в небольшой компании. Он быстро решает, преодолевает старые решения и убеждения, которые мешают проверке, собирает поддержку, рассказывает истории топ-менеджменту ради финансирования и задаёт темп.
  • Гид ведёт повседневную работу: менеджер, технический программный менеджер или Principal-инженер в большой компании. Он переводит стратегию в детали, устраняет блокеры и эскалирует проблемы спонсору.

Спонсор должен быть реально уполномочен и доступен для эскалаций, иначе он плохой спонсор. Гид должен держать темп и не тонуть в организационной неразберихе. Худшие гиды — идеологи, которые отвергают результаты проверки, и те, кого легко сбить с курса.

Единственное жёсткое требование: спонсор, гид и другие ключевые люди встречаются каждую неделю, уточняют метрики и разбирают данные. Встреча нужна для отладки, а не для презентаций. Неделя без новых знаний или решений — повод насторожиться. Если такая нагрузка кажется слишком большой, пересмотрите strategy altitude: стратегия, которую не стоит проверять, либо уже явно хороша, либо годится только как разрешающая.

Почти все провальные стратегии пропустили проверку. Они звучат правильно, но результата не дают. Яркий признак — то, что автор называет «давлением без плана» (pressure without a plan): правильные слова без деталей. Этим грешат миграции на сервисы.

Нужно понять две вещи (схема ниже):

  1. Есть ли числа, показывающие нужное влияние? Доля запросов, которые уже идут в новый сервис аутентификации, говорит больше, чем таблица, где команды пообещали перейти. Избегайте прокси-метрик.
  2. Если числа стоят на месте, есть ли понятный механизм отладки и движется ли команда вперёд? Команда может выглядеть медленной, но она движется, пока находит путь дальше.

Блок-схема из двух вопросов: если числа не растут и нет отладки, стратегию скорее всего не проверяли

Если числа не движутся, ищите другое доказательство: лучше всего новое ПО, работающее в реальной среде (для продуктового кода это прод). Скептики почти всегда правы, но часто описывают не текущие проблемы, поэтому не отлаживайте стратегию только с ними.

Ответ всегда один: написать новую стратегию и на этот раз пройти проверку (кейс «Should We Decompose Our Monolith?», глава 20). Для этого буксующую стратегию ставят на паузу. Это больно: люди, вложившиеся в текущую стратегию, будут недовольны. Но в долгосрочной перспективе большинство радует только успешная стратегия. Если официальная пауза невозможна, ищите неявную: отложите новые сервисы на месяц, чтобы улучшить provisioning сервисов, и никто не потеряет лицо.

  • Проверка находит недостающие детали, которые делают верную идею рабочей.
  • Проверять нужно до закрытия стратегии и давления на команды, узко и на механике.
  • Метрики должны мерить влияние, а не принятие.
  • Спонсор даёт полномочия, гид переводит стратегию в детали, а еженедельная встреча посвящена отладке.
  • Непроверенную стратегию выдают отсутствие чисел о влиянии и механизма отладки.
  • Застрявшую стратегию ставят на паузу, пусть и неявную, и проверяют заново.
ТерминЗначение
strategy testingПроверка стратегии на узком срезе до раската
waterfallСтратегию закрывают целиком до встречи с практикой
pressure without a planДавление без плана и деталей
  • Мигрируете платформу данных: сначала переведите одну простую и одну сложную таблицу.
  • Считайте долю запросов, уже работающих по-новому, а не число команд, пообещавших перейти.
  1. Почему раннее давление мешает оценить стратегию?
  2. Чем метрики влияния отличаются от метрик принятия?
  3. Чем хороший спонсор отличается от плохого?
  4. Как приостановить стратегию, если официально это невозможно?

Предыдущая: От теории к практике. Следующая: Systems modeling.