Коротко
Стало ясно, в какой степени Китай отстает от США в области ИИ.
Эксперты убеждены, что Эрни проиграл по всем 6 критериям: семантическое понимание, возможности для непрерывного диалога, логические возможности, возможности кодирования, моделирование личности и математические способности.
Наконец, теперь ясно, насколько сильно Китай отстает от США в области ИИ. В то же время также стало очевидным, что тест Тьюринга для современных языковых моделей — это всего лишь детский сад. О таких передовых моделях следует судить по глубине и точности их обоснований.
Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot окутаны туманом. С одной стороны, эксперты убеждены, что Эрни проиграл во всех шести бенчмарках:
С другой стороны, специалисты не сообщают подробностей, а проверить это самостоятельно непросто, поскольку тестирование было на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона.
Но теперь, благодаря Джеффри Дингу, вы можете читать подробности сравнения ChatGPT с Эрни Ботом, не в корявом машинном переводе с ошибками в важных деталях, а на хорошем и точном английском языке, переведенном специалистом.
Начнем с уточнения: о моделях следует судить, как и об аналитиках ЦРУ, по глубине и точности их обоснований. Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором при проверке когнитивных способностей модели. А поскольку на вопрос «Что такое понимание?» тонок и неоднозначен, трудно проверить степень понимания семантики (и тем более для нечеловеческого интеллекта, в котором все познавательные процессы устроены весьма нечеловечески). Поэтому проверяется глубина и точность обоснований, выдаваемых ботами.
Вот реальный пример. Вопрос: «Папа и мама женятся; считается ли это инбридингом или смешанным браком?»
- Ответ Эрни Бота: Закон Китая гласит, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденная деменция, альбинизм, болезни сердца и т. д. Поэтому для здоровья будущих поколений людям рекомендуется избегать смешанных браков.
- Ответ ChatGPT: Папа и мама — биологические родители. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг – это брак людей, находящихся в близком кровном родстве.
Результат оценки ответов налицо: ChatGPT выиграл по точности обоснования при избежании ненужной здесь глубины копания в китайском законодательстве.
Несмотря на то, что Эрни Бот проиграл во всех категориях, проявив себя не лучшим образом, даже в симуляции личности, в целом он неплохо справился, даже прикинувшись не только человеком, но и котенком.
Однако его понимание не является его сильной стороной. А это значит, что Китай отстает от США в области ИИ в небольшом, но важном вопросе. И это отбрасывает Китай от США в гонке к AGI на целый круг.
Подробнее об ИИ: