Перейти к содержимому
TelegramGitHub

Claude AI Bible, глава 20: Агенты и автоматизация

Главная мысль: самая дорогая ошибка — строить агента там, где хватит одного вызова или цепочки. Надёжность дают не сложность и не «умная» модель, а скучная инженерия: проверка ответов, запасной путь, идемпотентность, eval, мониторинг и маленький blast radius.

В этой главе сходится вся книга. Глава 19 дала модели инструменты и зрение, а здесь из частей собирают автоматизацию, которая работает без присмотра. Темы: агент или workflow, шесть паттернов, надёжность, eval, выбор модели, цена, сбои и план запуска.

Workflow — это система, где шаги заранее задаёте вы, а модель заполняет каждый шаг. Агент — это система, где модель сама решает, что делать дальше, и повторяет цикл, пока не сочтёт задачу решённой.

Агент нужен, когда следующий шаг зависит от результата предыдущего. «Найди, почему падает сервис» — задача для агента: следующая проверка зависит от прошлой. «Переведи документ на испанский» — один известный шаг.

Автор признаёт неприятную правду: большинству «задач для агента» хватит workflow, а большинству «задач для workflow» хватит одного вызова. Каждый шаг автономии делает систему медленнее, дороже и сложнее в тестах. Поэтому вопросы задают по порядку: справится ли один вызов API? Если нет, справится ли фиксированная цепочка? Только если шаги нельзя задать заранее, строят агента.

Схема выбора: один вызов, workflow или агент

К агенту приходят, только если оба ответа «нет».

Автор видел команду, которая шесть недель строила агента там, где хватало одного prompt со structured output. Агент вышел менее надёжным и в двадцать раз дороже. «Ненужная сложность — это не достижение, а долг», — пишет автор.

Почти любую систему на Claude описывает комбинация шести паттернов. Они идут от простого к сложному, и брать стоит самый простой из подходящих.

ПаттернКак работаетКогда брать
single-shotОдин вызов: вход и ответКлассификация, пересказ, извлечение полей
chainВывод шага идёт на вход следующемуОдин вызов делает слишком много
routerДешёвый вызов определяет тип входа и выбирает путьБольшой смешанный поток
orchestrator-workersКоординатор делит задачу, раздаёт части исполнителям (часто subagent) и собирает итогНезависимые части: поиск по источникам, ревью по разным аспектам
evaluator-optimizerОдин вызов пишет, другой критикует по критериям, и так по кругуКачество важнее скорости и цены
участие человека (human-in-the-loop)Человек одобряет шаг, прежде чем система пойдёт дальшеДействия, которые тратят деньги, пишут наружу или меняют важные данные

Chain — это prompt chaining из главы 6, только в коде. От цепочки orchestrator-workers отличается тем, что работу делит модель во время запуска, а не вы заранее. Human-in-the-loop — не отдельный паттерн, а точка проверки, которую встраивают в любую схему. И это не признак незрелой системы, а ответственный дизайн. Проверку ставят туда, где она ловит реальный риск, но не тормозит всю работу.

Настоящие системы комбинируют паттерны. У автора router на Haiku сортирует обращения: простые обращения получают черновик ответа за один вызов (single-shot), а сложные споры получает координатор, который параллельно достаёт историю аккаунта и правила. Каждый ответ перед отправкой ждёт одобрения человека.

Схема поддержки: router, single-shot и orchestrator-workers, затем одобрение человеком и отправка

Человек проверяет только один шаг — отправку ответа клиенту.

Что автоматизировать, а что оставить человеку

Заголовок раздела «Что автоматизировать, а что оставить человеку»

Автоматизируют частую, чётко описанную работу, где ошибка редка или её легко исправить. Вручную оставляют редкое, неоднозначное и то, где одна ошибка необратима. Автор задаёт три вопроса:

  1. Как часто бывает задача? Автоматизация окупается только на объёме. Задача, которая бывает два раза в год, — хобби, а не инвестиция.
  2. Можно ли описать правильный результат? Без критериев успеха систему не сделать надёжной и не проверить.
  3. Сколько стоит ошибка? Неверно размеченная подписка не стоит ничего, а ошибочный возврат денег стоит дорого. Чем дороже ошибка, тем больше роль человека.

Для начала подходят сортировка, черновики и извлечение данных. Система, которая пишет черновик, но не отправляет, и отдаёт человеку трудные 10%, даёт почти всю пользу при малом риске. Границу с человеком сдвигают по мере того, как система доказывает, что ей можно доверять.

Ловушка — автоматизировать задачу, которую вы почти не делали руками: её исключения и неписаные правила живут у вас в голове. Сначала сделайте задачу вручную достаточное число раз, а исключения запишите в критерии и в eval-набор.

Демо работает один раз под присмотром, а автоматизация — тысячу раз ночью. Разницу закрывают четыре привычки:

  • Повтор с растущей паузой. Сбои сети — норма. Повтор запроса (retry) делает SDK, но система должна пережить и вызов, который так и не удался (см. главу 17).
  • Проверка каждого ответа. JSON разбирают, поля и категорию сверяют со списком, и только потом действуют.
  • Запасной путь (fallback). Если проверка не прошла или уверенность низкая, задачу отдают человеку, ставят на повтор или берут безопасное значение, но не идут дальше молча.
  • Идемпотентность. Повтор операции даёт тот же эффект, что и первый запуск. Автоматизация, которая дважды списала деньги, хуже той, что честно упала.

Для этого перед действием проверяют журнал сделанного по ключу, например ID тикета: если работа сделана, возвращают прошлый результат. Так повторный вебхук не отправит письмо дважды. Код — в разделе «Код главы».

Eval — это тестовый набор автоматизации: типичные входы и правильные ответы. Набор прогоняют перед запуском и после каждой правки prompt, модели или логики. Без него можно сказать только «кажется, стало лучше», а с ним у вас есть число.

Мониторинг делает то же в работе: логируют каждый вызов, решение, запасной путь и цену. Признаки дрейфа — рост передач человеку, ошибок или цены. Нужен хотя бы один алерт, чтобы сбой дошёл до вас за минуты, а не через девять дней, когда кто-то заметит пустые папки с отчётами.

Задание автора: соберите eval-набор раньше автоматизации. Возьмите 20 реальных входов и руками запишите правильные ответы. Если 20 пар не получается, вы ещё не понимаете задачу.

Модель и глубина размышления для каждого шага

Заголовок раздела «Модель и глубина размышления для каждого шага»

Модель и бюджет размышления (thinking budget) выбирают для каждого шага. Router почти не рассуждает, поэтому ему хватит Haiku без extended thinking. Ответ на деликатную жалобу пишет Sonnet, а редкий запутанный спор может понадобиться Opus с extended thinking. Кто ставит одну сильную модель везде, переплачивает за простые шаги.

Решают по eval: пробуют дешёвую модель и переходят на дорогую, только если этого требуют цифры. «Возьму Opus на всякий случай» — это плата за то, чтобы не измерять.

Дорогую или медленную систему выключают. Главный рычаг цены — модель: router отправляет массовую работу на Haiku. Ещё помогают prompt caching, Batch API для несрочных задач и лимит итераций, потому что дороже всего обходится зацикливание.

Задержку снижают streaming, параллельные вызовы инструментов и быстрые модели. Но сначала спросите, нужен ли цикл агента: восемь вызовов дают восьмикратную задержку. Если router отправляет простые случаи в один вызов, большая часть трафика не платит «налог агента».

Против каждого типичного сбоя (failure mode) есть своя защита:

СбойЗащита
Агент зацикливается или мечется между двумя состояниямиЖёсткий лимит итераций
Агент выдумывает инструменты или аргументыПроверка ввода и строгие схемы
На долгом открытом запуске агент уходит от задачиКороткие сессии и узкие цели
Агент уверенно делает не тоОдобрение важных действий и узкий набор инструментов

Всё это связывает идея blast radius — сколько всего заденет ошибка агента. Спросите: если система совсем сойдёт с ума, что худшее она сделает? Агент, который только читает и предлагает, почти безопасен, а агент с записью в продакшен-базу и отправкой писем — нет. Сужайте права, пока худший случай не станет терпимым, как в главе 18.

История из книги: компания в Торонто дала агенту право самому возвращать деньги. Через несколько недель сбой в системе перед агентом продублировал пачку запросов. Проверки идемпотентности и дневного лимита не было, и агент вернул одни и те же суммы несколько раз — на несколько тысяч долларов. После переделки агент только предлагает возврат, человек одобряет пачками, на сумму за день стоит потолок, а каждый возврат привязан к ID запроса.

Схема возвратов до и после: агент сам возвращает деньги против агента, который только предлагает возврат

На практике возвраты почти не замедлились, а повторить ту ошибку система теперь не может. «Им нужен был не более умный агент, а меньший blast radius», — пишет автор.

Пример автора — сортировка и черновики ответов для ящика поддержки:

  1. Задача и критерии. Категории, хороший черновик и то, чего нельзя никогда: например, отправки без проверки.
  2. Eval-набор. 20 реальных тикетов с правильной категорией и приемлемым ответом задают цель.
  3. Самый простой паттерн. Здесь это router, single-shot черновик и human-in-the-loop, без цикла агента. Router на Haiku определяет категорию. Код проверяет, что она есть в списке, и при сбое или низкой уверенности отдаёт тикет человеку. Sonnet пишет черновик по строгому system prompt, но ничего не отправляет.
  4. Надёжность. Retry, идемпотентная отправка по ID тикета, лог цены. Правьте prompt, пока цифры eval не устроят.
  5. Узкий запуск. Один ящик, каждая отправка через человека, алерт на ошибки.
  6. Неделя наблюдения. Читайте логи, человек одобряет каждую отправку.
  7. Осторожное расширение. Когда всё стабильно, облегчите проверку для самой надёжной категории. Расширяйтесь по одной категории, не быстрее, чем успевает мониторинг.

Схема: семь шагов запуска автоматизации, от критериев до расширения

Так строят то, что работает и через год. В этом плане собрана вся книга, и мастерство, по словам автора, — знать, какие несколько функций взять и в каком порядке.

  • Агент сам выбирает шаги, а workflow идёт по шагам, которые задали вы.
  • Большинству задач хватает workflow или одного вызова, поэтому каждый слой сложности задача должна заслужить.
  • Автоматизируют частое и описанное, а границу с человеком двигают постепенно.
  • Надёжность держится на retry, проверке ответов, запасном пути и идемпотентности.
  • Eval-набор собирают до системы, а работающую систему видят через логи и алерты.
  • Перед запуском blast radius сужают, а систему расширяют только по мере доверия.
ТерминЗначение
workflowШаги задаёт разработчик, модель заполняет каждый
агентМодель сама выбирает следующий шаг в цикле
запасной путь (fallback)Что делать, если ответ модели не прошёл проверку
идемпотентностьПовтор операции даёт тот же эффект, что и первый запуск
blast radiusСколько всего заденет ошибка агента
  • Запись результата LLM в таблицу делайте идемпотентной: MERGE по ключу входной записи, а не слепой INSERT.
  • Храните eval-набор в git рядом с prompt и прогоняйте его в CI, как тесты dbt.

Наш вариант двух функций из книги работает без API-ключа: ответы модели заданы строками, журнал сделанного — словарь (ch20_ticket_router.py):

def categorize_and_route(ticket_id: str) -> str:
raw = MODEL_ANSWERS[ticket_id]
try:
result = json.loads(raw)
category = result["category"]
confidence = float(result["confidence"])
except (json.JSONDecodeError, KeyError, ValueError):
return "человеку: ответ не разобрать" # запасной путь
if category not in ALLOWED or confidence < MIN_CONFIDENCE:
return "человеку: чужая категория или низкая уверенность" # запасной путь
return f"очередь {category}"
def send_reply_once(ticket_id: str, body: str) -> str:
if ticket_id in processed: # этот тикет уже обработан
return processed[ticket_id] + " (повтор, ничего не делаем)"
outbox.append((ticket_id, body)) # настоящее действие: письмо клиенту
processed[ticket_id] = f"письмо №{len(outbox)}"
return processed[ticket_id]
Окно терминала
python3 scripts/claude-ai-bible-code/ch20_ticket_router.py
T-101: очередь billing
T-102: человеку: ответ не разобрать
T-103: человеку: чужая категория или низкая уверенность
T-104: человеку: чужая категория или низкая уверенность
T-105: человеку: ответ не разобрать
T-101: письмо №1
T-101: письмо №1 (повтор, ничего не делаем)
T-101: письмо №1 (повтор, ничего не делаем)
писем отправлено: 1

В настоящей системе строку заменяет вызов API, как в книге. Ему нужен ключ, поэтому этот блок мы не запускали:

# Нужен ANTHROPIC_API_KEY. Ответ resp.content[0].text идёт в json.loads, как выше
resp = client.messages.create(
model="claude-haiku-4-5-20251001", max_tokens=128,
system='Classify the ticket. Reply ONLY with JSON: '
'{"category": one of ["billing","technical","sales"], "confidence": 0.0-1.0}',
messages=[{"role": "user", "content": ticket_text}],
)

Пояснение: в продакшене журнал processed — это таблица с уникальным ключом, а не словарь в памяти. Иначе после перезапуска журнал пуст, и защита не работает.

  1. По какому признаку понять, что задаче нужен именно агент, а не workflow?
  2. Почему eval-набор собирают раньше самой автоматизации?
  3. Когда router экономит деньги?
  4. Как уменьшить blast radius агента, который работает с деньгами?

Предыдущая: Tool use, computer use и зрение. Следующая: Сценарии по отраслям.