Перейти к содержимому
TelegramGitHub

Claude AI Bible, глава 22: Ограничения, риски и честный прогноз

Главная мысль: без инструментов Claude не знает свежих событий, не гарантирует точность, не помнит вас между разговорами и не понимает последствий своих действий. Поэтому проверку и ответственность за результат берёт человек, и с ростом возможностей модели эта роль только важнее.

Книга, которая показывает только плюсы, — это рекламная брошюра, пишет автор. Страдают от технологии чаще те, кто поверил брошюре. Поэтому последняя глава служит противовесом всей книге, в том числе отраслевым сценариям прошлой главы. Темы: чего Claude не умеет, галлюцинации, приватность данных, избыточная автоматизация, авторские права и раскрытие роли AI, будущее без шумихи и то, как не отстать.

Слева пять ограничений модели: нет свежих знаний, нет гарантии точности, нет памяти между разговорами, нет понимания последствий, ответы не повторяются точно. Стрелки ведут к тому, что добавляет человек: инструменты, проверку фактов, Projects и память, подтверждения и узкие права, код вокруг модели

Схема читается по строкам: слева то, чего модель не умеет сама, справа то, чем эту границу закрывает человек.

Многие риски появляются, когда от модели ждут того, чего она не может по своему устройству. Автор называет четыре границы.

  • Нет знаний в реальном времени. Модель обучена до даты среза знаний (knowledge cutoff) и сама не знает ни сегодняшних новостей, ни цен. Свежие данные дают только инструменты: поиск, API, подключённый источник.
  • Нет гарантии точности. Модель выдаёт вероятный текст, а не проверенный. Обычно вероятный текст и верный совпадают, поэтому исключений перестают ждать, и в этом опасность. Ошибку модель пишет так же гладко, как верный ответ.
  • Нет памяти между разговорами. Каждый разговор начинается с нуля, а связь между ними дают Projects, память (memory) и ваш контекст.
  • Нет понимания последствий. Модель не знает, что письмо обидит клиента, а число уйдёт в отчёт для совета директоров. За последствия отвечает человек.

Агент к тому же не отличает обратимое действие от необратимого: письмо себе и письмо десяти тысячам клиентов для него одинаковы. Паузу перед опасным шагом добавляете вы подтверждениями, узкими правами и надзором. И ещё модель не детерминирована: на один вопрос она может ответить по-разному. Точную повторяемость строят вокруг неё кодом.

Самой дорогой ошибкой автор считает привычку принимать гладкий ответ за проверенный: уверенный тон — свойство текста, а не мера правильности.

Галлюцинации: почему они возникают и как защищаться

Заголовок раздела «Галлюцинации: почему они возникают и как защищаться»

Модель пишет текст, предсказывая следующий токен. Если верный ответ часто встречался при обучении, самое правдоподобное продолжение и есть верное. Но на вопрос о редком факте модель тоже выдаст правдоподобное продолжение: режима «промолчать» у неё нет. Так появляются ссылка на несуществующую статью и придуманная статистика. Галлюцинация — это не ложь, а обычный результат системы, которая стремится к правдоподобию там, где правды у неё нет.

Поэтому риск выше всего на точных ссылках, числах, редких именах и свежих событиях, и защита — это не общее «будьте осторожны», а проверка именно этих мест.

Вопрос идёт к модели, которая пишет самое правдоподобное продолжение. Для частой темы оно верное, для редкого факта, например ссылки, числа или имени, правдоподобное, но выдуманное. Внизу четыре приёма защиты: дать источник, проверить ссылки и числа, просить источник для каждого факта, разрешить ответ «не знаю»

Вверху показано, откуда берётся галлюцинация, внизу — приёмы защиты:

  1. Дайте источник. Пересказ вашего документа надёжнее факта из памяти: модель читает, а не вспоминает. Поэтому все сценарии прошлой главы, где важны факты (юристы, редакция, бухгалтеры), работали с переданными документами.
  2. Проверяйте конкретику, а не стиль: каждую ссылку, число и имя, на которых держится результат.
  3. Просите источники и пометки о сомнениях. Так модель сама показывает слабые места.
  4. Разрешите ответ «не знаю». Если прямо написать в запросе, что ответ «нет надёжных данных» допустим, модель реже выдумывает и чаще признаёт границу знаний.
  5. Доверяйте по цене ошибки. Неверный ответ внешне не отличается от верного. Случайный вопрос можно не проверять, а факт для договора, диагноза или статьи нужно проверять всегда.

Автор советует встроить проверку прямо в prompt:

Перечисли все утверждения о фактах из ответа, каждое отдельной строкой.
Для каждого укажи источник. Отметь те, для которых источника нет.

Строки без источника нужно проверить первыми.

Приватность и безопасность: какой позиции держаться

Заголовок раздела «Приватность и безопасность: какой позиции держаться»

В продуктах Anthropic нет рекламы, компания не продаёт данные, а обучение на вашем контенте вы контролируете сами. Но надёжный поставщик — это нижняя планка безопасности, а не верхняя. Автор добавляет три слоя:

СлойЧто делать
Минимизация данныхПередавайте только нужное: имена замените кодами, чувствительные колонки уберите, а результат сопоставьте сами
Свои правилаПолитики компании и обязательства в медицине, финансах, праве действуют при любом поставщике. Узнайте их до того, как строить процесс
Тариф по чувствительностиДля регулируемых данных есть бизнес- и корпоративные тарифы. Детали проверяйте на docs.claude.com

Перед каждой чувствительной задачей спросите себя, какой минимум данных ей нужен. Эта привычка защищает даже тогда, когда откажут другие меры.

Избыточная автоматизация: цена раннего ухода человека

Заголовок раздела «Избыточная автоматизация: цена раннего ухода человека»

Избыточную автоматизацию вызывает успех. Проверяющий человек месяцами ничего не находит, и его хочется убрать. Но ценность проверки не в частоте находок: человек ловит редкую катастрофу, например уверенно неверное число в договоре или выдуманный факт в новости. По числу находок он кажется лишним, а по цене худшей пропущенной ошибки необходим.

Поэтому спросите, во что обойдётся худший уверенно неверный результат. Если это неловкое письмо, автоматизируйте. Если это неверная цифра в отчётности, неточная медицинская инструкция или деньги не на тот счёт, человек остаётся.

Вместо выбора «всё или ничего» автор предлагает уровни: простые случаи идут автоматически, а неясные и рискованные получает человек. Лучше всего, когда модель сама передаёт человеку случаи, в которых не уверена.

Поток задач идёт к проверке: модель уверена и риск низкий? Если да, задача выполняется автоматически, если нет, решает человек. Пунктир «выборка» ведёт от автоматических результатов к человеку. Обе ветки дают результат

Пунктир на схеме — выборочная проверка. Она защищает от тихой потери опыта: люди, ушедшие из процесса, разучиваются замечать тонкие ошибки, а это умение понадобится, когда система встретит что-то новое.

Пример автора: логистическая компания убрала человека из подтверждения заказов поставщикам после трёх месяцев без ошибок. Через шесть недель документ в необычном формате дал неверное количество, и производственная линия почти день простаивала без деталей. Проверку вернули, но только для исключений.

  • Права на результат задают ваш тариф и текущие правила, их проверяют на docs.claude.com. Важнее другое: сгенерированный текст и код — черновик, за качество и утверждения которого отвечаете вы.
  • Сходство с чужими текстами возможно: модель иногда повторяет то, на чём училась. Для коммерческого кода и массовых публикаций проверяйте результат, как любой черновик.
  • Раскрытие роли AI в праве и науке иногда требуют правила, а свои требования есть у издателей и клиентов. Безопасный вариант — честность.

Тест автора: ждёт ли человек, что работу сделали лично вы? Клиент, который нанял вас за ваше суждение, ждёт его. Читателю описания товара всё равно. Если на вопрос «он был бы против, если бы узнал?» честный ответ «да», раскрывайте. Раскрытие стоит одного предложения, а разоблачение стоит репутации.

Автор отделяет явные тенденции от догадок. Тенденций четыре. Растёт context window: модель сразу держит больше вашего материала, например целую кодовую базу. Агенты выполняют более длинные цепочки действий. Через коннекторы и MCP модель глубже входит в реальные системы. А запуск модели (inference) дешевеет, поэтому выгодно автоматизировать всё больше задач.

Догадки он так и называет: agentic режим станет обычным способом работы, подключать инструменты станет почти незаметно, а умение решать, что поручить и как проверить, станет ценнее. Кто называет точную картину через пять лет, тот что-то продаёт.

Увереннее автор в другом: проверка и ответственность человека не исчезнут. Сильная модель галлюцинирует реже, но всё равно пишет вероятный текст. Редкая ошибка в системе, которой больше доверяют, опаснее, ведь её реже проверяют. Чем сильнее модель и чем больше задач автоматизируют, тем важнее решать, где оставить человека.

Обе крайности неверны. Мнение «всё изменится за ночь, и суждение человека обесценится» не сбылось ни для одной технологии. Мнение «всё преувеличено» тоже ошибочно: тенденция реальна, и кто её игнорирует, уже отстаёт.

Следить за каждым анонсом не нужно: кто читает все release notes, тот занят, но не эффективен. Цены, лимиты и доступность функций смотрите на docs.claude.com и support.claude.com, когда возник вопрос.

Ценнее умения, которые не устаревают: разбивать задачу на шаги, понимать, где проверять, давать ясные инструкции, аккуратно обращаться с данными. Они переходят от модели к модели, а заученные кнопки устаревают с каждым релизом. Лучше всего учит работа с инструментами на реальных задачах. Ещё автор советует раз в квартал пересобирать старый процесс с нуля: почти всегда найдётся новая функция или лишний шаг.

Глава о рисках — не пессимизм, пишет автор. Больше всего пользы от AI получают не восторженные сторонники и не скептики, а трезвые практики: они активно используют инструмент и знают его границы. Автор хотел вырастить именно такого читателя, который управляет Claude, знает, когда отдать работу модели, а когда оставить себе, и по привычке встраивает проверку.

  • Без инструментов Claude не знает свежих событий, не гарантирует точность, не помнит вас между разговорами и не понимает последствий.
  • Агент одинаково спокойно выполняет мелкое и необратимое действие, поэтому паузу перед опасным шагом задаёт человек.
  • Галлюцинация — естественный результат стремления к правдоподобию, чаще всего в ссылках, числах и именах.
  • От галлюцинаций защищают переданный источник, проверка фактов, просьба указать источники и разрешение ответить «не знаю».
  • Строгость проверки зависит от цены ошибки, а не от уверенного тона ответа.
  • Безопасность строится в три слоя: минимум данных, правила вашей организации и тариф по чувствительности.
  • Проверяющего человека оценивают по цене худшей пропущенной ошибки, а не по частоте находок.
  • Ответственность человека растёт вместе с возможностями модели.
ТерминЗначение
Дата среза знаний (knowledge cutoff)Дата, до которой собраны данные для обучения. О более поздних событиях модель не знает
Опора на источник (grounding)Модель работает с переданным материалом, а не вспоминает факты
Минимизация данныхПередавать модели только данные, без которых задача не решается
Избыточная автоматизацияЧеловека убирают из процесса раньше, чем это безопасно
Раскрытие роли AIСообщить об участии AI, когда это важно для получателя
inferenceЗапуск обученной модели для ответа на запрос
  • Ответ Claude о ваших данных, например «в таблице заказов 1,2 млн строк», проверяйте запросом к самой таблице.
  • Для вопросов о схеме давайте модели DDL или описание витрины, а не ждите, что она вспомнит ваш проект.
  • Перед отправкой выборки в Claude замените email и телефоны кодами, а соответствие храните у себя.
  • Агенту с доступом к хранилищу давайте права только на чтение, а DROP и DELETE оставляйте за подтверждением человека.
  1. Почему уверенный тон ответа ничего не говорит о его правильности?
  2. На каких вопросах риск галлюцинации выше всего и почему?
  3. Чем пересказ переданного документа надёжнее ответа «из памяти» модели?
  4. Почему проверяющего человека нельзя оценивать по числу найденных ошибок? Как понять, когда его можно убрать?
  5. Когда об участии AI в работе нужно сказать, а когда это не важно?
  6. Почему более сильная модель не отменяет проверку, а делает её важнее?

Предыдущая: Сценарии по отраслям. Это последняя глава, вернуться к обзору книги.