GPT-4 показал лучшие результаты, чем средний человек, в тесте на логическое мышление, утверждает исследование
Коротко
Илья Пестов, российский исследователь искусственного интеллекта, создал тест на логическое мышление, который прошли 12 тысяч человек.
Недавно он получил доступ к более умному GPT-4 и провел эксперимент, чтобы посмотреть, может ли правильный запрос дать какие-то результаты.
Результаты показали, что GPT-4 превзошел среднего человека в логических рассуждениях.
Илья Пестов, известный российский исследователь ИИ, разместил сообщение на своей Канал Telegram о том, насколько хорошо нейронная сеть справляется с логическими тестами. Илья когда-то создал @psylogicbot тест на логическое мышление, который прошли около 12 тысяч человек. Вы можете проверить статистику после прохождения теста.
| Прочитайте больше: 20+ лучших чат-ботов Telegram AI 2023 года |
Он написал, что ChatGPT тоже тестировался, но результаты оставляли желать лучшего. Недавно он получил доступ к более умной и обновленной версии модели GPT — GPT-4 — и решил проверить, даст ли она аналогичные результаты.
Эксперимент проводился следующим образом: исследователь создавал текст, описывающий задачу, которую должна была выполнить нейросеть. Исследователь разместил все в комментариях: Подсказка была: «Я дам вам логическую задачу и четыре варианта ответа; выберите из них один правильный ответ». Затем для каждого тестового вопроса Илья создавал новый диалог и отправлял описание GPT-4 вместе с текстом вопроса. Бот получил ответ без каких-либо исправлений или подсказок.
Всего 25 вопросов, за каждый правильный ответ начисляется один балл. По статистике пользователи в среднем набирают 13.6 балла, при медиане не более 14. Сколько набрал GPT-4? Ему удалось набрать 16 баллов!
И снова нейронная сеть превосходит обычного человека в логических рассуждениях. То есть он превосходит большинство протестированных людей. И это с учетом:
Отдельно выложим отличный ответ на вопрос 22, в котором нейрон использовал логику первого порядка для математического вывода результата. Хотя это было рассмотрено в прикладной математике, это не университетский курс, который изучают все.
Все еще верите, что нейронные сети — это причуда? Для начала попробуйте превзойти GPT-4 (и поделитесь своими результатами в комментариях).
Подробнее об ИИ: