Machines that Think, глава 5: Снова о человеке

Главная мысль: Нейросети взяли у мозга несколько идей, но работают по-другому. Похожее поведение не значит похожий механизм. У модели нет своих целей, она не учится во время работы и не связывает слова с реальным миром.

Почему мы всё время сравниваем ИИ с человеком

Когда система делает что-то сложное, мы объясняем это словами, которые знаем. А знаем мы в основном слова про людей.

• Мы говорим «модель понимает вопрос». Но понимание мы не видим. Мы видим только ответ.
• Язык особенно сильно включает эту привычку. Мы узнаём ум другого человека через разговор. Поэтому система, которая гладко говорит, сразу кажется умной.
• Человек как точка отсчёта полезен. Но это начало разговора, а не определение интеллекта.

Слова из нейробиологии

Многие термины в ML пришли из науки о мозге: neuron, learning, memory, attention. Для инженера это точные технические понятия. Для остальных они звучат так, будто внутри модели живой мозг.

Почему эти слова закрепились:

Причина	Что произошло
История	Первые модели правда рисовали по образцу нейрона. Слова казались честными
Ранние успехи	Сети начали распознавать картинки и речь. Термины стали стандартом
Привычка людей	Гладкое поведение проще объяснить «мыслями», чем статистикой

Автор не говорит, что метафора — ошибка. Она помогает. Но важно не путать «вдохновлено мозгом» и «работает как мозг».

Что нейросети взяли у мозга

Нейрон стал формулой

Первые исследователи не копировали мозг целиком. Они взяли один нейрон и сильно его упростили:

• синапс стал числом, то есть весом связи;
• сложная динамика во времени стала простым шагом пересчёта;
• химия клетки исчезла совсем;
• внутреннее устройство клетки стало парой математических операций.

Получился artificial neuron: он берёт числа на входе, умножает их на веса, складывает и выдаёт результат. Это не ошибка, а сознательный выбор. Такую модель можно считать на компьютере и масштабировать.

Дальше прогресс шёл не к большей похожести на мозг. Он шёл к тому, как лучше соединять и обучать эти простые блоки.

Всё ради обучения

Искусственные нейроны сделали одинаковыми. Они отличаются только силой связей. Это дало два плюса:

• Один алгоритм обучения подходит для всей сети.
• Если результат стал лучше или хуже, причину можно найти в весах, а не в скрытом состоянии каждого нейрона.

В классических сетях нейрон не помнит прошлое. Он реагирует только на текущий вход. Позже память вернули, но в строго контролируемом виде.

Обучение = изменение весов

В мозге опыт меняет не столько число клеток, сколько силу связей между ними. Одни пути становятся «проще», другие «труднее».

Нейросети взяли этот принцип. Всё обучение — это изменение весов. Отсюда и ограничение: если что-то нельзя выразить через веса, сеть этому не научится.

Распределённое представление

В мозге и в сети знание не лежит в одном месте. Смысл возникает из работы многих нейронов вместе.

Что это даёт:

• Устойчивость. Можно удалить большую часть весов, и сеть почти не теряет качество. Исследования по pruning показали, что иногда можно убрать до 90% весов.
• Обобщение. Похожие входы включают похожие группы нейронов. Поэтому сеть справляется с новыми, но похожими случаями.
• Нет закреплённых ролей. Один нейрон участвует во многих понятиях. Его роль зависит от контекста.

Есть известные исследования про «нейрон Дженнифер Энистон» в мозге человека. Но большинство учёных считает, что это не «одна клетка на одно понятие», а очень узкое участие в большой сети.

Попытки смоделировать мозг

Параллельно с ML идут проекты, которые изучают сам мозг. У них разные цели:

Цель	Как оценивают результат
Понять, как работает мозг	Насколько модель объясняет данные о реальных нейронах
Сделать железо эффективнее	Энергия, задержка, надёжность
Проверить идеи об интеллекте	Какие свойства зависят от биологии, а какие нет

Путаница начинается, когда успех в одной цели выдают за успех в другой.

Детальные и абстрактные модели

• Детальные сохраняют много биологии. Их легко сравнить с данными о мозге. Но они плохо масштабируются.
• Абстрактные берут только общие принципы. Они масштабируются и показывают сильные результаты. Но мало объясняют сам мозг.

Близость к биологии — не путь к интеллекту. Она определяет только то, что модель может объяснить.

Карта связей: connectomics

Connectomics строит полную карту: какой нейрон с каким соединён. Проект FlyWire собрал карту мозга плодовой мушки: больше 130 тысяч нейронов и около 50 млн связей. На её основе сделали симуляцию: сигнал от вкуса или касания доходил до действия.

Но карта связей — это не мышление. Она показывает возможные пути сигнала. Она не говорит, как идёт обучение и что значит активность. Это как схема трубопроводов без данных о том, что по ним течёт.

Другое направление — живые нейроны в пробирке. Культуры нейронов на электродах научились «играть» в Pong, а позже в Doom. Но это не игра в человеческом смысле. Клетки просто подстраивались под электрические сигналы.

Нейроморфное железо

Neuromorphic computing берёт у мозга не логику, а способ вычислять: параллельно и только по событиям.

• Мозг тратит около 20 Вт. Обучение большой модели требует мегаватты.
• Примеры: чип IBM TrueNorth, чип Intel Loihi с обучением прямо на железе, event-камеры, которые передают только изменения пикселей.
• Такие системы оценивают по энергии и скорости реакции, а не по «уму».

Чему мозг может научить ИИ

Модели мозга показывают ограничения, которые полезно учитывать:

1. Учиться при редкой, поздней и шумной обратной связи.
2. Работать при шуме и частичных поломках.
3. Учиться всё время, не забывая старое.

Это не чертёж думающей машины. Это список условий, в которых работает настоящий интеллект.

Чем нейросеть отличается от человека

Главное различие — не в способностях, а в том, что стоит за поведением.

Измерение	Человек	Нейросеть
Цели	Рождаются изнутри: нужды, планы, давление общества	Задаёт кто-то снаружи
Сигнал обучения	Последствия действий в мире	Число loss на обучении
Память	Меняется при каждом вспоминании	Веса фиксированы до нового обучения
Время	Обучение и действие идут вместе	Обучение и работа разделены
Смысл	Слова связаны с объектами в мире	Модель видит статистику в данных
Развитие	История необратима	Модель можно скопировать, сбросить, откатить

Обучение без последствий

Для человека ошибки стоят по-разному. Пропустить обед и попасть под машину — разные вещи. Поэтому человек учится тому, что важно, даже если за это сейчас не наградили.

Для сети ошибка — просто число, которое надо уменьшить. Она учит то, что есть в целевой функции, и игнорирует остальное.

Интеллект без agency

Agency — способность самому ставить цели и действовать ради них. У модели этого нет. Она отвечает, когда её спросили, и молчит в остальное время. Поведение «с целью» берётся из того, как люди построили задачу.

Если это забыть, от модели ждут самостоятельности и ответственности, которых у неё нет.

Память и время

• Человек меняет воспоминание каждый раз, когда вспоминает. Опыт сразу влияет на следующие решения.
• Модель хранит опыт в весах. Во время работы (inference) веса не меняются.
• Online learning и continual learning пытаются это исправить. Но это всё равно обучение, просто частое.
• In-context learning кажется обучением на лету. Но веса не меняются. Новый чат начинается с нуля.

Представление без понимания

Модели находят богатую структуру в данных. Исследования показывают, что большие модели из текста и картинок приходят к похожей «геометрии» понятий. А модель, обученная на ходах в игре Othello, внутри восстановила состояние доски.

Но это ещё не модель мира:

• состояние каждый раз пересчитывается из входа, а не живёт само по себе;
• модель не замечает, что старый шаблон больше не подходит;
• больше данных расширяет покрытие шаблонов, но не даёт умения переосмыслить ситуацию.

Почему похожесть обманывает

Разные системы могут прийти к одинаковому поведению разными путями. Гладкий ответ легко принять за понимание. Быстрая реакция похожа на самостоятельность. Чтобы сравнивать честно, надо смотреть на механизм, а не только на результат.

Ключевые термины

Термин	Значение
Artificial neuron	Простой вычислительный блок: взвешенная сумма входов и простое правило на выходе
Weights	Сила связей между нейронами. Всё обучение сети — это их изменение
Distributed representation	Знание размазано по многим нейронам, а не лежит в одном месте
Pruning	Удаление части весов из обученной сети
Connectomics	Построение полной карты связей между нейронами мозга
Neuromorphic computing	Железо, которое считает параллельно и по событиям, как нервная ткань
Agency	Способность самому ставить цели и действовать ради них
Continual learning	Обучение на новых данных без потери старых знаний
In-context learning	Подстройка ответа под примеры в prompt без изменения весов
World model	Внутреннее состояние, которое следит за объектами и их изменениями во времени

Что это значит на практике

• Модель не помнит прошлые сессии. Если ассистент «знает» ваш проект, это значит, что система снова подала ему историю или документы. Проверяйте, что именно попадает в контекст.
• Модель не учится на ваших исправлениях. Поправили SQL в чате — в следующий раз ошибка может повториться. Правила и соглашения команды кладите в system prompt, файл с инструкциями или в базу для RAG.
• Знания заморожены на дате обучения. Новая версия dbt, новая функция в Snowflake или новая колонка в вашей таблице модели неизвестны. Давайте ей актуальную документацию и схему.
• У модели нет своих целей. Агент для пайплайна не «хочет» сделать хорошо. Он идёт туда, куда ведут prompt и инструменты. Цели, границы и критерии остановки задаёте вы.
• Гладкий ответ — не понимание. Модель может красиво объяснить метрику и при этом спутать grain таблицы. Проверяйте логику на данных, а не по тону ответа.
• Не очеловечивайте в документации. Пишите «модель возвращает», а не «модель думает». Так коллеги не будут ждать от системы больше, чем она может.

Вопросы для самопроверки

1. Какие части биологического нейрона убрали, когда создавали искусственный нейрон? Зачем?
2. Почему нейросеть почти не теряет качество, если удалить большую часть весов?
3. Чем память человека отличается от памяти обученной модели? Почему in-context learning не меняет эту картину?
4. Почему модель, которая восстановила доску в Othello, всё ещё не имеет полной модели мира?

Предыдущая: Большие языковые модели. Следующая: Не всё то золото, что блестит.