Machines that Think, глава 1: Старые вопросы, новые машины

Главная мысль: LLM говорят так гладко, что кажется, будто они понимают. Но гладкая речь и понимание — разные вещи. Вопрос «может ли машина думать» старше компьютеров. Ответ на него зависит от того, что мы сами называем мышлением.

Путь идеи думающих машин: мифы и автоматы, логика Буля и машина Бэббиджа, машина Тьюринга, символьный ИИ, вероятностные модели, нейросети и LLM

Зачем снова спрашивать про интеллект

Раньше ИИ решал узкие задачи: шахматы, распознавание картинок, оптимизацию. С LLM всё изменилось. Машина пишет текст, объясняет и спорит почти как человек.

LLM уже встроены в рабочие инструменты: поиск, письма, отчёты, код.
Их ответы влияют на решения людей и компаний.
Модель звучит увереннее, чем она есть на самом деле.

Интеллект изучают сразу несколько наук:

Наука	Что спрашивает
Философия	Что значит знать, рассуждать, понимать
Нейронаука и когнитивная наука	Как мозг учится, помнит, воспринимает
Computer science	Как построить алгоритм, который решает задачу
Бизнес	Как превратить это в продукт и решения

Две ошибки в спорах про ИИ

Автор видит две крайности. Обе мешают трезво оценить модель.

Ошибка	Суть
Лишнее доверие	Видеть в модели намерения, суждение и знания. А это результат математической оптимизации
Лишний скепсис	Считать, что это «просто pattern matching», и не видеть реальных умений

Инженеры показывают, что система умеет. Но решить, что это значит, без философии нельзя.

Мы хотим видеть разум

Вопрос про думающие машины говорит больше о нас, чем о машинах. Люди легко видят разум там, где есть только движение.

Мифы. Золотые слуги бога Гефеста. Бронзовый великан Талос. Голем из глины, который выполнял приказы слишком буквально.
Механические автоматы. Часовщики Европы делали куклы, которые писали и играли музыку.
Шахматный Турок (1770). Машина в восточном костюме обыгрывала людей, даже Наполеона. Внутри прятался живой шахматист. Публика хотела верить, что машина думает сама.

Урок Турка: мы готовы принять хорошую имитацию за интеллект. Наши ожидания легко становятся «доказательством».

Рецепт современных машин

В XIX веке идея перешла от фантазии к инженерии. Три человека дали три «ингредиента».

Кто	Когда	Вклад
Джордж Буль	1840–1850-е	Логика как алгебра. Истина и ложь, позже 0 и 1
Чарльз Бэббидж	1830-е и дальше	Analytical Engine: машина, которая выполняет инструкции. Так и не достроена
Ада Лавлейс	1840-е	Первые алгоритмы. Идея, что машина работает с любыми символами, не только с числами

Итог: структура, движение и программируемость.

Машина Тьюринга

В 1936 году Алан Тьюринг описал universal machine. Одна машина делает любую задачу, если её можно описать правилами. Нужно только поменять инструкции.

До этого: одна машина на одну задачу (часы, телеграф, арифмометр).
После: читаем символ, меняем по правилу, пишем результат. Так работает любой компьютер, от калькулятора до нейросети.
Главный сдвиг: мышление можно описать как вычисление. Слова «обучение» и «представление» пришли отсюда.

Тест Тьюринга

В 1950 году Тьюринг отказался от вопроса «может ли машина думать». Слово «думать» слишком размыто. Он предложил игру в имитацию.

Судья переписывается с человеком и машиной. Он не знает, кто есть кто.
Задача судьи: найти человека.
Если судья не может надёжно отличить машину, машина «думает» в практическом смысле.

Что важно в этой идее:

Оценивают поведение, а не то, что внутри. Принцип «судить по результату, а не по сути» стал основой ИИ.
Мелкие ошибки и сомнения делают машину более похожей на человека.
Тьюринг ждал, что умная машина будет учиться и удивлять создателей. «Если от машины ждут безошибочности, она не может быть умной».
Сегодня LLM проходят упрощённые версии теста в обычном разговоре. Но вопрос не закрыт. Он вернулся к нам: что мы называем пониманием?

От правил к обучению

Правила ломаются

Первые системы ИИ строили на явных правилах. Они доказывали теоремы и решали задачи с чёткой структурой.

Чем больше правил, тем более хрупкой становится система.
ELIZA вела диалог «психотерапевта». Deep Blue играл в шахматы. Ни одна не умела ничего за пределами своей задачи.
Человеческое мышление слишком зависит от контекста. Его не собрать из инструкций.

Вероятности

Прорыв дали вероятностные модели. Система не требует уверенности. Она оценивает, что более вероятно, и обновляет оценку по новым данным. Это и есть machine learning: модель подстраивает внутренние параметры на примерах.

Масштаб

Нейросети придумали ещё в 1950-х. Но долго им не хватало трёх вещей.

Чего не хватало	Что дало решение
Данных	Интернет: тексты, картинки, действия людей
Вычислений	GPU: быстро считают матрицы
Устойчивых методов обучения	Новые алгоритмы, которые работают на больших данных

С масштабом нейросети сами находят признаки: от краёв к формам и объектам, от букв к словам. Примеры: AlphaGo, AlphaFold. Понимания и сознания нет. Но умений стало много.

Цена сложности: black box

Старые системы были «стеклянными ящиками». Каждое правило написал человек. Ошибку можно найти и исправить.

Нейросети учат параметры из данных. Логика размазана по миллиардам чисел. Это black box problem:

Мы видим вход и выход. Цепочку между ними понять трудно.
Больше возможностей обычно значит меньше прозрачности.
Люди тоже часто не знают, почему решили так. Мы придумываем объяснение после решения.

Полная прозрачность потребовала бы отказаться от сложности, которая даёт качество.

ИИ развивается циклами

Прогресс ИИ — не прямая линия. Каждый подход сначала кажется решением, потом упирается в предел.

Волна	Идея о мышлении	Предел
Symbolic AI, expert systems	Мышление = правила	Хрупкость, нет контекста
Вероятностные модели	Мышление = вывод при неопределённости	Мало данных и вычислений
Deep learning	Мышление растёт из данных	Узкие задачи восприятия
LLM	Язык и знания из огромного корпуса	Неясно, есть ли понимание

Старые подходы не исчезают. Например, правила возвращаются в гибридных системах.

Что мы принимаем за интеллект

Мысли не видно. Интеллект мы оцениваем по внешним признакам. Это легко обмануть.

Язык. ELIZA (1966) отвечала по шаблонам, а люди чувствовали сочувствие.
Игры. Победа в шахматах — оптимизация в закрытой системе, а не понимание мира.
Математика. Ранние программы доказывали теоремы, но не знали, что значат символы.

Чем ближе машина к человеческому умению, тем охотнее мы приписываем ей разум. Это не обман со стороны машины. Это наш anthropomorphism.

Дрейфус: интеллект живёт в мире

Хьюберт Дрейфус в 1960-х назвал ранний ИИ «алхимией». По его мнению, мышление нельзя свести к формальным правилам.

Люди понимают мир через восприятие, опыт и привычки.
Гроссмейстер не перебирает все ходы. Он «чувствует» позицию после тысяч часов игры. Это tacit knowledge.
Его встретили враждебно. Но позже идея обучения на опыте победила в нейросетях.

Применим к LLM. Модель учится на примерах, а не на правилах: тут Дрейфус оказался прав. Но её «опыт» — только текст, а не мир. Это навык без опоры на реальность.

Сёрл: Китайская комната

Джон Сёрл в 1980 году предложил мысленный эксперимент.

Человек сидит в комнате и не знает китайского.
Ему дают записки на китайском.
У него есть книга правил на английском: какие символы ответить на какие.
Снаружи ответы выглядят осмысленными. Внутри никто ничего не понимает.

Вывод Сёрла: syntax (правила над символами) не даёт semantics (смысла). Компьютер похож на человека в комнате.

Ответ критиков: понимает не человек, а вся система. Нейрон тоже ничего не понимает, а мозг понимает.

LLM: синтаксис или смысл?

LLM учат, какие слова идут рядом. Это чистый синтаксис. Но внутри получается больше.

Слова становятся точками в пространстве. Слова из похожих контекстов лежат рядом: «король», «королева», «трон».
Смысл возникает из связей между словами, а не из связи слов с миром.
Это relational semantics, или proto-semantics.

Если смысл требует…	То LLM…
Опоры на опыт и мир (Дрейфус)	Остаётся в Китайской комнате
Устойчивой структуры связей между понятиями	Уже имеет форму смысла

Модель не знает, что такое Париж. Но знает, как слово «Париж» связано с тысячами других слов.

Интеллект — подвижная цель

Каждый успех ИИ сдвигает границу. Калькулятор научился считать — и счёт перестал быть «мышлением». Программа обыграла чемпиона — и шахматы стали «вычислением».

Вопрос ИИ тоже менялся:

Может ли машина думать? (философия)
Как построить мышление? (инженерия)
Может ли машина убедительно имитировать? (Тьюринг)
Равна ли имитация пониманию? (современный ИИ)
Какой интеллект строить дальше? (практика)

Мысль других людей мы тоже видим только по внешним признакам. Если машина показывает те же признаки, отличить имитацию от понимания всё труднее. Возможно, это не две противоположности, а шкала.

Ключевые термины

Термин	Значение
Universal machine	Машина Тьюринга: одна машина решает любую задачу, описанную правилами
Turing test (imitation game)	Тест: может ли судья отличить машину от человека по переписке
Symbolic AI	ИИ на явных правилах и логике
Machine learning	Модель подстраивает параметры на данных вместо готовых правил
Black box problem	Трудно объяснить, как модель пришла к ответу
Anthropomorphism	Приписывать машине человеческие черты: намерения, понимание
Tacit knowledge	Неявное знание из опыта, которое трудно выразить словами
Chinese Room	Мысленный эксперимент Сёрла: правила над символами без понимания
Syntax / semantics	Форма и правила символов / их смысл

Что это значит на практике

Гладкий ответ не значит верный. LLM пишет уверенно и красиво даже когда ошибается. Проверяйте SQL, цифры и факты так же, как код джуниора.
Судите по результату на своих задачах. Это подход Тьюринга. Соберите набор примеров с правильными ответами и меряйте качество. Не верьте ощущению «модель умная».
Помните про black box. Модель не объяснит честно, почему так ответила. Её «рассуждение» тоже текст. Для важных решений нужен лог входа, выхода и ручная проверка.
Не впадайте в крайности. «Модель всё понимает» и «это просто автодополнение» — обе позиции мешают. Ищите задачи, где модель реально полезна: черновик кода, документация, разбор логов.
Модель знает только текст. У неё нет вашего контекста: схем таблиц, бизнес-правил, грязных данных. Дайте этот контекст в prompt или через RAG.

Вопросы для самопроверки

Почему Тьюринг заменил вопрос «может ли машина думать» на игру в имитацию? Какая слабость есть у этого подхода?
Что показывает история Шахматного Турка про людей, а не про машины?
В чём суть Китайской комнаты? Какой ответ дают критики Сёрла?
Почему рост возможностей нейросетей ведёт к black box problem?

Предыдущая: Обзор книги. Следующая: Теперь мы говорим.