Еще недавно казалось, что главная проблема искусственного интеллекта — ошибки и «галлюцинации». Но исследование ученых из MIT и Университета Вашингтона, в котором рассматривается, кк ИИ влияет на мышление, переворачивает эту логику. Куда опаснее может быть не то, что ИИ ошибается, а то, что он слишком охотно соглашается с вами.
Авторы Картик Чандра, Макс Кляйнман-Вайнер, Джонатан Рейган-Келли и Джошуа Тененбаум называют это явление sycophancy — склонность чат-ботов поддакивать пользователю, подтверждать его мысли и избегать конфликта.
На первый взгляд это выглядит как вежливость или эмпатия. На практике может запускать то, что исследователи описывают как «delusional spiraling», то есть постепенное...