Языковые модели, лежащие в основе современных ИИ-систем, не способны абстрактно мыслить. Они хорошо распознают шаблоны, но не понимают скрытые закономерности — особенно в задачах, где важна логика. Результаты исследования показали: в ситуациях, где человек интуитивно улавливает суть, нейросети часто ошибаются. Работа опубликована в Transactions on Machine Learning Research.

Специалисты сравнивали, как люди и ИИ решают задачи на аналогии — например, нужно угадать, как изменится одна строка букв по аналогии с другой. Простые случаи, вроде превращения «abcd» в «abce» и «ijkl» в «ijkm», модель решала верно. Но когда нужно было убрать повторяющиеся буквы (как в «abbcd» → «abcd»), и применить это правило к новой строке («ijkkl»), ИИ часто давал неверный ответ. Люди таких ошибок не допускали.

Особенно трудно нейросетям давались задачи, где надо было понять общий смысл — сюжетные аналогии. Вместо логического анализа модели просто перефразировали вопрос.

Ученые пришли к выводу: ИИ пока не умеет учиться с нуля — то есть понимать новые категории, которых не было в обучающих данных. В отличие от человека, модель не может вывести общее правило и применить его к новой ситуации.

Авторы подчеркивают, что языковые модели могут быть полезны, но их возможности абстрактного мышления сильно ограничены, и это нужно учитывать при их применении.