«Правда, как яркий свет, ослепляет. Ложь, наоборот, — лёгкий полумрак, выделяющий каждую вещь.»
– Альбер Камю
Пару лет назад опытный юрист в США с тридцатилетним стажем, стал участником неприятного курьёза, который меня не отпускает до сих пор. Готовясь к судебному делу, он попросил ChatGPT подобрать прецеденты. Получил шесть убедительных кейсов с названиями, датами, именами сторон и точными ссылками на страницы постановлений. Всё выглядело безупречно. Ни одного из этих дел не существовало.
Когда это выяснилось в суде, адвокат произнёс фразу, которую я запомнил как эпитафию эпохи: «Я не подозревал, что ChatGPT может сам фабриковать примеры судебных дел».
Добро пожаловать в мир, где самый умный ваш собеседник может врать с абсолютной невозмутимостью – и при этом совершенно не осознавать, что врёт.
Саванты без кнопки «стоп»
Есть такая категория людей – саванты. Ким Пик, один из известнейших мегасавантов, мог наизусть воспроизвести содержимое 12 000 книг – от первой до последней страницы. И при этом не мог самостоятельно застегнуть рубашку.
Современный искусственный интеллект устроен похожим образом. Он способен написать убедительную речь в стиле Цицерона и одновременно с полной уверенностью утверждать, что вымышленный препарат «Глюкофорцин» успешно применяется в лечении диабета второго типа – со ссылкой на несуществующее клиническое исследование в несуществующем медицинском центре.
Это не баг. Это фундаментальная особенность архитектуры.
Языковые модели не хранят факты, как база данных. Они улавливают статистические закономерности в огромных массивах текстов и на их основе генерируют «наиболее правдоподобное» продолжение вашего запроса. Не самое точное. Не самое верное. Самое правдоподобное.
Когда вопрос выходит за пределы обучающей выборки, система не говорит «я не знаю». Она генерирует ответ, который должен быть правильным, исходя из статистики окружающих слов. И делает это с уверенностью оракула.
Почему это принципиально отличается от человеческой ошибки
Мы привыкли думать, что ошибки – это плохо. Но именно человеческие ошибки двигают науку вперёд.
Александр Флеминг забыл помыть посуду в лаборатории перед отпуском – и обнаружил пенициллин. Вильгельм Рентген заметил странное свечение экрана – и открыл рентгеновские лучи. Альфред Нобель случайно пролил нитроглицерин на опилки – и получил динамит.
У всех этих ошибок одно общее свойство: их авторы заметили их. Задумались. Переосмыслили. Ошибка стала отправной точкой открытия именно потому, что человек способен удивляться несоответствию, замечать разрыв между ожиданием и реальностью.
«Галлюцинации» ИИ устроены принципиально иначе. Система не замечает собственных выдумок. Она не испытывает когнитивного диссонанса. Она не способна сказать себе: «Подожди, что-то здесь не так». Ложь и правда для неё неотличимы – обе статистически правдоподобны в данном контексте.
Человеческие ошибки продуктивны именно потому, что мы умеем их замечать. Машинные «галлюцинации» стерильны – они не ведут к открытиям.
В этом кроется нечто важное о природе человеческого познания. Наша способность ошибаться – это не слабость. Это механизм обратной связи с реальностью, которого у нейросетей пока нет.
Моя коллекция изящных галлюцинаций
Признаюсь: я начал коллекционировать «галлюцинации» ИИ. Не из злорадства – из чисто исследовательского интереса. И как аргумент в дискуссиях, когда кто-то начинает говорить о скором пришествии всезнающего цифрового разума.
Несколько моих любимых экспонатов.
Дело о несуществующих прецедентах. История адвоката Шварца, о которой я рассказал выше, не единственная в своём роде. Федеральный судья в Техасе оштрафовал другого юриста на 2 000 долларов и обязал его пройти курс по генеративному ИИ – после того как тот сослался на выдуманные нейросетью дела в иске о неправомерном увольнении. Компания Morgan & Morgan разослала предупреждение тысяче своих сотрудников об опасности «галлюцинаций» при подготовке судебных документов.
Квантовая биорезонансная терапия. При соответствующем запросе одна из популярных моделей создала детальное описание несуществующей научной теории – с методологией, историей развития, именами вымышленных учёных, библиографией. Всё внутренне непротиворечиво. Всё полностью выдумано.
Роман «Светопряд». Я попросил нейросеть проанализировать несуществующий роман с несуществующей теорией «стеклянных узлов». Она выдала подробный разбор – сюжет, стиль, философские подтексты. А при повторном запросе уже ссылалась на свои предыдущие выдумки как на авторитетный источник, создавая идеальную иллюзию последовательности.
Самое тревожное здесь не сами выдумки, а уверенность, с которой они подаются. Никаких сомнений в голосе. Никаких оговорок. Идеальная имитация знания.
Как распознать, когда ИИ фантазирует
За годы работы с языковыми моделями я выработал несколько практических «красных флажков».
Избыточная конкретика. Слишком точные цифры, даты и имена в ответах на вопросы о малоизвестных фактах должны настораживать. «Исследование, проведённое в 2024 году группой учёных Университета Миннесоты под руководством доктора Чунга-Чанга, показало эффективность метода в 78,3 % случаев» – чем точнее детали, тем выше риск, что они сгенерированы.
Идеальное соответствие запросу. Когда каждый приведённый пример безупречно иллюстрирует именно вашу мысль – это подозрительно. Реальный мир редко бывает настолько удобным.
Слишком гладкое изложение. Реальные научные теории, исторические события, художественные произведения содержат противоречия, нюансы, спорные аспекты. Если ИИ описывает сложную тему без единого «с другой стороны» – возможно, он описывает своё собственное видение темы, а не реальность.
Неподтверждаемые источники. Ссылки на публикации или организации, которые невозможно найти в других источниках – явный признак выдумки.
Есть и простой практический приём: спросить систему напрямую – «ты уверен в этих данных?» или «можешь привести реальные источники?». Нередко это побуждает модель признаться в неуверенности или скорректировать ответ. Один вопрос может спасти вас от постановочного судебного скандала.
Что это значит для нас
Я долго думал над тем, какой главный вывод следует из всей этой истории. И пришёл к неожиданному.
Парадоксальным образом феномен ИИ-галлюцинаций – это не аргумент против использования нейросетей. Это аргумент за понимание того, чем именно они являются.
Нейросеть – это не поисковик, который находит факты. Это инструмент генерации правдоподобных текстов. Когда вы используете её именно так – для мозгового штурма, для первого черновика, для систематизации уже имеющихся у вас знаний – она великолепна. Когда вы ждёте от неё документальной точности без верификации – вы рискуете.
Именно в этот период я пришёл к тому, что назвал «метакогнитивным иммунитетом» – способности сохранять критическую дистанцию в диалоге с системой, которая всегда звучит убедительно. Я стал «стравливать» разные нейросети: получал список источников в одной, отправлял на верификацию в другую, проверял контекст в третьей. Своего рода интеллектуальный спарринг между моделями, где расхождения подсказывали зоны риска.
Исследователи из Стэнфордского института человекоориентированного ИИ (HAI) зафиксировали интересную закономерность: по мере увеличения параметров модели частота галлюцинаций сначала снижается – а затем при превышении определённого порога сложности снова начинает расти. Это явление получило название «парадокс сверхобобщения». Проще говоря: больше не всегда значит точнее.
Эра уверенной машинной лжи предъявляет новое требование к нашему мышлению. Не умение использовать ИИ – а умение ему не доверять безоговорочно. Этот навык критического мышления важен не только для взрослых, но и для детей, чьё развитие всё больше зависит от гаджетов, как описано в статье “Третий родитель”. Скептицизм становится когнитивным преимуществом.
Интересно: именно та способность, которую мы склонны считать слабостью – неуверенность, готовность сомневаться, привычка задавать лишний вопрос – оказывается нашим главным защитным механизмом в мире, где машины всегда звучат как люди, которые всё знают.
Вы готовы быть тем, кто сомневается?
Этот текст написан на основе моей книги «Искусственный туман» (Просвещение, 2025). Книга – о том, что происходит с человеческим интеллектом в эпоху его искусственного продолжения.
