Институт Макса Планка: Измерение когнитивных способностей GPT-3 дает поразительные результаты

Коротко

ИИ уже находится как минимум на уровне человека в принятии решений.

Немецкий институт биологической кибернетики им. Макса Планка решил проверить это и провел исследование по сравнению когнитивных способностей человека и GPT-3.

Исследователи решили проверить это с помощью канонических психологических тестов на людях, чтобы проверить их навыки принятия решений, поиска информации и причинно-следственных связей.

Еще более поразительным является тот факт, что эта способность ИИ находится не только на уровне людей, но и делает те же ошибки, что и люди.

Согласно результатам измерения когнитивных способностей GPT-3, проведенного в Институте Макса Планка, навыки принятия решений ИИ уже находятся на одном уровне с человеческими.

Энтузиасты и скептики больших языковых моделей, таких как GPT-3, продолжают яростно спорить о том, доказывают ли прорывные достижения бота ChatGPT, использующего технологию GPT-3, интеллектуальность бота не уступает человеку. Однако спор бессмысленен: определение термина «интеллект» неоднозначно. Все считают интеллект чем-то другим, и диапазон определений огромен:

Из определения Линды Готтфредсон: «Интеллект — это неотъемлемая умственная способность, которая включает в себя способность обобщать, планировать, решать проблемы, мыслить абстрактно, понимать сложные идеи и быстро учиться на опыте».

Между тем, по словам Эдварда Боринга, «интеллект — это то, что измеряет тест интеллекта».

Ситуация осложняется тем, что, как ни крути, нет четкой причины для появления больших языковых моделей интеллекта, сравнимых с человеческим. Ведь единственное, что ГПТ-3 (и ЧатGPT) ловко предсказывает следующее слово, основываясь на огромной статистике образцов последовательностей слов в текстах, написанных людьми.

Однако уже одно это умение позволяет ChatGPT удивлять творческими способностями: помимо ответа на любой заданный вопрос, он также может писать рассказы, научные статьи, тезисы и даже программировать (чего достаточно, чтобы сдать несколько экзаменов на уровне человека).

Но достаточно ли этой причины, чтобы обсуждать появление ИИ (на основе GPT-3 и ChatGPT) с интеллектом, сравнимым с человеческим?

Чтобы ответить на этот вопрос, давайте вспомним определение Грегори Тревертона, согласно которому «интеллект — это, в конечном счете, рассказывание историй» (это определение объясняет, почему в английском языке интеллект и разум обозначаются одним и тем же словом).

Логика здесь такая:

Интеллект, в какой бы форме он ни определялся, предназначен для принятия сложных решений в нетривиальных задачах.

В принятии таких решений, помимо формального мышления, огромную роль играет нарративное мышление; например, в юриспруденции, когда принимаются решения присяжных, не формальное мышление, а повествование играет решающую роль в том, как они оценивают доказательства и выносят вердикт.

Так почему бы великолепно развитому нарративу и формальному мышлению ChatGPT не стать основой для появления интеллекта, подобного человеческому?

Немецкий институт биологической кибернетики им. Макса Планка решил проверить это и провел исследование по сравнению когнитивных способностей человека и GPT-3. Исследователи решили проверить это с помощью канонических психологических тестов на людях, чтобы проверить их навыки принятия решений, поиска информации и причинно-следственных связей.

Компания результаты исследования, опубликованные в журнале Proceedings of the National Academy of Sciences, поражают:

ИИ решает проблему принятия правильного решения на основе описаний не хуже или даже лучше людей.

Еще более поразительным является тот факт, что эта способность ИИ находится не только на уровне людей, но и делает те же ошибки, что и люди.

Более того, способность принимать правильные решения проверялась в заданиях, описываемых виньетками: кратким описанием людей и/или ситуаций, в ответ на которые люди раскрывают свои идеи, ценности, социальные нормы или собственные впечатления. Казалось бы, ничего из вышеперечисленного в ИИ быть не может. Однако это не мешает ИИ принимать те же решения, что и люди.

В двух других когнитивных способностях ИИ уступает людям.

При поиске информации, GPT-3 не проявляет признаков направленного исследования.

В причинно-следственных задачах ОШП-3 на уровне маленького ребенка, но это пока.

Авторы считают, что для того, чтобы догнать людей с этими двумя способностями, ИИ не хватает только активного общения с нами и со всем остальным миром, но это быстро пройдет. Ведь миллионы уже общаются с ChatGPT.

Источник