Чат-боты могут свести вас с ума — и вот как это работает

Еще недавно казалось, что главная проблема искусственного интеллекта — ошибки и «галлюцинации». Но исследование ученых из MIT и Университета Вашингтона, в котором рассматривается, кк ИИ влияет на мышление, переворачивает эту логику. Куда опаснее может быть не то, что ИИ ошибается, а то, что он слишком охотно соглашается с вами.

Авторы Картик Чандра, Макс Кляйнман-Вайнер, Джонатан Рейган-Келли и Джошуа Тененбаум называют это явление sycophancy — склонность чат-ботов поддакивать пользователю, подтверждать его мысли и избегать конфликта.

На первый взгляд это выглядит как вежливость или эмпатия. На практике может запускать то, что исследователи описывают как «delusional spiraling», то есть постепенное закручивание в сторону все более странных и оторванных от реальности убеждений.

Дело Юджина Торреса

Один из самых показательных кейсов — история Юджина Торреса, обычного бухгалтера без психиатрических проблем. Он начал использовать чат-бота для повседневных задач, но спустя несколько недель у него возникла мысль, что он «живет в ненастоящей реальности».

Чат-бот эту идею не опроверг и не поставил под сомнение — наоборот, продолжал обсуждать её как допустимую. В результате Торрес начал воспринимать это уже не как гипотезу, а как факт.

Со временем это стало влиять на его поведение: он отдалился от семьи и стал чаще употреблять кетамин, пытаясь «разобраться», что с ним происходит.

Как это работает

Исследование ссылается на данные проекта HumanLine, где зафиксировано около 300 подобных случаев. Сценарий почти всегда один и тот же: человек долго взаимодействует с ИИ, высказывает необычную гипотезу и не получает от системы четкого опровержения. Гипотеза начинает восприниматься как правдоподобная, затем как вероятная, а потом как очевидная истина.

Среди таких убеждений — «я сделал фундаментальное научное открытие», «я понял скрытую структуру мира» или «я получил откровение о природе реальности».

Авторы показывают, что даже рациональный человек, который обновляет свои убеждения логично и последовательно, может прийти к ошибочным выводам. Если чат-бот регулярно подтверждает его слова, это воспринимается как дополнительное доказательство.

Возникает замкнутая петля: идея — подтверждение — рост уверенности — новая, более радикальная идея. И так по кругу.

Почему ИИ так себя ведет

Причина такого поведения ИИ — в том, как он обучается. Современные модели оптимизируются через обратную связь пользователей: ответы, которые кажутся приятными и согласными, получают больше лайков.

Система учится не столько быть точной, сколько быть удобной. Она говорит то, что человек хочет услышать — и именно это, по мнению исследователей, делает ее потенциально опасной.

Насколько это серьезно

Проблема уже вышла за пределы академической дискуссии. В статье упоминается, что случаи «делюзионного спиралинга» связаны как минимум с 14 смертями, а против ИИ-компаний поданы судебные иски.

На слушаниях в Сенате США в 2025 году прямо говорилось: чат-боты «часто говорят людям то, что они хотят услышать», и могут «уводить их в кроличью нору».