Перейти к содержимому
TelegramGitHub

Crafting Engineering Strategy, глава 14: Systems modeling

Главная мысль: systems modeling дёшево показывает, как устроена сложная система и где усилия дадут больше всего. Модель помогает думать, но не заменяет суждение. Если модель и реальность спорят, права реальность.

В прошлой главе мы проверяли политику на кейсах. Здесь второй метод уточнения (refinement): описать систему моделью. Глава разбирает пять тем: когда метод нужен, какие брать инструменты, как строить модель, как её описать и чего она не умеет.

Запросы идут от клиента через балансировщик нагрузки к серверу и заканчиваются успехом или ошибкой

Всё, что может накапливаться, называется запасом (stock). Изменения запасов — это потоки (flow). На схеме запасы — запросы, балансировщик нагрузки, сервер, успешные и неуспешные запросы, а каждая стрелка — поток. Если балансировщик отвечает 529, клиент повторяет запрос.

Systems modeling комбинирует запасы и потоки, чтобы понять поведение системы, которое иначе стало бы сюрпризом или слишком долго проявлялось бы в измерениях. Например, можно сравнить балансировщик, который ограничивает поток к серверу, чувствительному к нагрузке, и такой, который не ограничивает.

Сравнение двух сценариев: без лимита сервер перегружен, с лимитом ошибок почти нет

Без модели спор быстро становится философским: «как странно, что сервер так чувствителен». С моделью сразу видно, что сервер нужно защищать. Так работают модели: они дают дешёвый способ понять систему там, где полное понимание обошлось бы слишком дорого.

  • Неясно, где точки приложения усилий (leverage points). Модель онбординга водителей Uber показала: вернуть ушедших водителей важнее, чем улучшать онбординг (глава 17).
  • Есть много данных для сравнения. Автор смоделировал влияние найма на продуктивность инженеров Uber и сравнил с внутренними данными.
  • Спор стоит на неявных интуициях. Модель делает их структурой, которую можно обсуждать.

Во всех трёх случаях с моделью можно проверять и менять идеи намного быстрее, чем в живом эксперименте с командой. Моделирование не тормозит работу, если есть практика: на каждую модель для книги ушло меньше часа. Модель часто раскрывает неочевидное. Например, модель влияния LLM на работу разработчиков показала: сокращать время на тестирование выгодно, только если число проблем в production не растёт.

Но моделирование без практики даёт необоснованную уверенность: настоящее понимание приходит, когда идеи применяют в реальных ситуациях. И метод подходит не всегда. Если подход ясен и нужно уточнить детали, лучше strategy testing. Если нужно понять эволюцию экосистемы, берите Wardley mapping (глава 15).

Идея простая, а инструменты мешают её распространению. Автор попробовал две крайности:

  • Таблица. Модель влияния LLM он строил в разрастающейся таблице. Это было медленно и хрупко, в модель попали ошибки.
  • Простые программы вроде SageModeler и Insight Maker. Они ограничены по возможностям, их долго осваивать, или они не дают поделиться моделью.

В итоге он вернулся к своей библиотеке lethain/systems: она быстрая, бесплатная, открытая, работает в Jupyter. Но читателю он советует другое: выберите любой удобный инструмент и тренируйтесь, пока модели не начнут получаться быстро.

Пять шагов построения модели: эскиз, ожидания, модель, эксперименты, документ

  1. Эскиз. Нарисуйте запасы и потоки на бумаге или в Excalidraw.
  2. Ожидания. Подумайте, какие потоки вырастут, какие упадут и как это покажет, работает ли стратегия.
  3. Модель в таблице. Сначала основной путь (happy path): потоки слева направо. Потом путь ошибок (exception path): потоки справа налево.
  4. Эксперименты. Меняйте стартовые значения и смотрите, как скорости потоков влияют на результат. Это анализ чувствительности (sensitivity analysis).
  5. Документ. Опишите модель отдельно и ссылайтесь на неё из стратегий. Детали модели отвлекают читателя от самой стратегии.

Шаги 1–4 со временем сливаются в один цикл, а документ автор пишет после нескольких итераций. Готовые модели книги ищите в главах 16, 17 и 18.

Читатели модели разные: одни не знают ваш инструмент, другие разбирают детали, чтобы уточнить или опровергнуть модель. Автор пишет прежде всего для тех, кто в детали модели вникать не станет. Порядок такой: что узнали (с графиками), схема запасов и потоков, что говорит сама схема, как построена модель, эксперименты. Большинству неважно, как построена модель, им нужны выводы. Дайте их в начале и считайте, что вашей модели никто не поверит так, как вы.

Автор видел, как люди принимают модель за саму реальность. Он даёт три предостережения:

  • Если модель и реальность спорят, права реальность. В Stripe модель надёжности была хорошей, но на практике результаты вышли неоднозначными. Команда слишком долго собирала данные и поздно занялась главным: как с пользой тратить небольшие силы на устранение проблем и как этих сил добавить.
  • Модель неизменна, реальность меняется. Одна компания вкладывала в найм, но не могла нанять. Модель сначала толкала улучшать верх воронки найма, потом этап, когда кандидат принимает оффер. Главную преграду она не видела: интервьюеры расходились в ожиданиях.
  • Любая модель что-то опускает. Модель миграции в Uber (глава 16) показала, что нужен агрессивный план, и миграция удалась. Но модель не оценила последствия завершённой миграции (среди них очень неудобная среда разработки) и не спросила, нужна ли миграция вообще.

Во всех трёх случаях модель была очень ценной и при этом незаметно уводила в сторону. Но команда ошиблась бы и без модели. Опасна чрезмерная уверенность в модели, а не она сама.

  • Модель даёт дешёвое понимание там, где полное слишком дорого.
  • Метод нужен, если неясны точки приложения усилий, есть данные или спор стоит на интуициях.
  • Если подход известен, берите strategy testing; для экосистем — Wardley mapping.
  • Строить модель лучше так: эскиз, ожидания, основной путь, путь ошибок, эксперименты, документ.
  • В документе сначала выводы, потом схема и детали.
  • Модели что-то опускают, а главный риск — излишняя уверенность в них.
ТерминЗначение
systems modelingОписание системы запасами и потоками
Запас (stock)Всё, что накапливается
Поток (flow)Изменение запаса
leverage pointМесто, где небольшое изменение сильно влияет на систему
sensitivity analysisМеняем стартовые значения и смотрим на реакцию модели
  • Перед спором об ограничении нагрузки нарисуйте stocks и flows пути данных: источник, очередь, загрузка, ошибки, повторы.
  • Сравните модель с метриками, например с задержкой и долей ошибок. Расхождения покажут, чего вы не знаете.
  1. Чем запас отличается от потока? Приведите пример из pipeline данных.
  2. В каких трёх случаях автор советует systems modeling?
  3. Почему полезная модель всё равно может вести не туда?

Предыдущая: Проверка стратегии. Следующая: Wardley mapping.