В X завирусился пост предпринимателя и инвестора Nav Toor. В нем, что OpenAI якобы «математически доказала», что галлюцинации ChatGPT неизбежны. Автор ссылается на статью «Why Language Models Hallucinate».
Однако часть утверждений из поста не соответствует содержанию исследования.
🚨BREAKING: OpenAI published a paper proving that ChatGPT will always make things up.
— Nav Toor (@heynavtoor) March 6, 2026
Not sometimes. Not until the next update. Always. They proved it with math.
Even with perfect training data and unlimited computing power, AI models will still confidently tell you things that… pic.twitter.com/2WAoFXV0MA
Что правда
Авторы Адам Тауман Калай, Офир Нахум, Сантош С. Вемпала и Эдвин Чжан действительно пишут, что языковые модели могут генерировать уверенные, но неверные ответы — так называемые «галлюцинации».
Они объясняют это тем, что модели создают текст, предсказывая наиболее вероятное следующее слово. Если информации недостаточно, система может угадать правдоподобный, но неверный ответ.
Исследование также отмечает, что некоторые тесты для оценки ИИ не поощряют ответы «я не знаю», из-за чего модели могут чаще угадывать.
Что преувеличено
В самой статье не говорится, что нейросети «всегда будут выдумывать» или что это «невозможно исправить».
Авторы также не приводят в статье сравнения моделей с показателями 16%, 33% и 48%, которые распространились в соцсетях. В исследовании не анализируются модели o1, o3 и o4-mini и не приводится их уровень ошибок.
Главный вывод исследования — галлюцинации можно снижать, если изменить способы обучения и тестирования моделей.
Ранее Kursiv Uzbekistan писал, что, по мнению экс-директора Tesla по ИИ Андрея Карпаты, нейросети уже могут писать сложные программы самостостоятельно.
