Коротко
История с петицией и выходом статьи Юдковского поляризовали общество.
Дилемма заключенного и теория игр предполагают, что для решения таких проблем необходима критическая масса здравомыслящих людей в разных местах.
Однако у этой идеи есть несколько «но», таких как отсутствие сознания, воли и свободы действий в цифровой эволюции.
История о петиция о прекращении разработки систем ИИ, более совершенных, чем GPT-4 заметно поляризовал общество. Освобождение Юдковского гайд Масла в огонь подлил запрос о прекращении дальнейшей разработки моделей GPT, особенно его пассажи о бомбардировках дата-центров.
Судя по тому, что можно наблюдать в сети, сторонников петиции гораздо меньше, чем противников, у которых есть три основных аргумента:
| 1 | – Прогресс нельзя остановить. – Петицию придумали конкуренты OpenAI. – Китай не будет ждать. |
| 2 | – Бояться надо не ИИ, а людей. – У ТШП нет ни сознания, ни воли, ни устремлений, ни свободы действий, так что бояться нечего. — GPT-4 безумно далек от порабощения мира, потому что ничего не понимает, делает глупые ошибки и вообще довольно глуп. — GPT-4 не сможет управлять миром, потому что у него нет рук/ног. |
| 3 | – Третья группа вообще не понимает, как работает ГПТ-4. |
Мы не будем концентрироваться на третьей группе, потому что их позиция исходит из невежества. Это не значит, что все противники ИИ знают об ИИ все; можно найти множество противников ИИ, которым не хватает понимания технологии и того, что она влечет за собой, хотя сам Юдковский очень глубоко разбирается в теме ИИ, так что его нельзя обвинить в невежестве.
Давайте посмотрим на первую группу людей – тех, кто считает, что прогресс нельзя остановить. Они приводят разные, но похожие аргументы, и в целом эти люди не отрицают возможности ИИ и перспективы, которые открывает его внедрение, и верят, что развитие ИИ будет продолжаться, несмотря ни на что.
Первый тезис о неудержимом прогрессе — это лозунг, который не обязательно должен быть правдой. Кажется, люди остановили некоторые научные эксперименты, и многие когда-то принятые исследовательские проекты больше не считаются этичными, а подобные никогда не будут разрешены сегодня. Однако насколько еще прогресс в прошлом был остановлен инквизицией и другими религиозными преследованиями, запретами книг и убийствами ученых в Китае (и других странах)? Это то, что мы никогда не сможем полностью понять из-за предвзятости выживания.
Другие тезисы связаны с подходом, который можно резюмировать как «если не мы, то они». Хотя этот ход мыслей может быть более понятным, он также не кажется правильным решением. Это очень похоже на дилемму заключенного в теории игр.
Вторая группа аргументов наиболее интересна. Хотя я лично согласен с этим в некоторой степени, есть несколько но, которые необходимо решить. Да, у ИИ нет сознания, воли, свободы действий и т. д. Как и у COVID-19, и тем не менее он сеет хаос во всем мире. Нечто не обязательно должно иметь чувство свободы воли и сознание, чтобы стать опасным; сценарий уничтожения жизни на Земле из-за вируса не является чем-то невообразимым. Выполнив свою работу, он может поставить стулья на столы, выключить свет и уйти навсегда.
Продолжая биологическую аналогию, есть замечательная статья «Удивительное творчество цифровой эволюции: сборник анекдотов от сообществ исследователей эволюционных вычислений и искусственной жизни», в которой приводится множество примеров того, как процессы идут в неожиданном направлении. Даже без эволюционного процесса все может привести к неправильному обобщению «Неправильное обобщение цели: почему правильных спецификаций недостаточно для правильных целей». Предоставление полной свободы процессу оптимизации может пойти не так, как описано в разделе «Риски, связанные с оптимизацией обучения в передовых системах машинного обучения».
При этом мы, как правило, не учитываем риски злонамеренное использование ИИ и любой злоупотреблять, что только подпитывает аргумент о том, что нам нужно бояться людей, а не самого ИИ. Однако правда в том, что ИИ может быть плохим даже без злонамеренных людей.
Я также согласен с тем, что модель совершает глупые ошибки, но люди тоже, и все же мы знаем, что они могут причинить вред. Хотя модели совершают много ошибок, они также могут решить много удивительных, крутых и сложных проблем, которые не может решить обычный человек. Из небезызвестной работы «Искры искусственного общего интеллекта: ранние эксперименты с GPT-4» меня поразило, что ИИ способен решать, пусть и не всегда корректно, задачи Ферми, достаточно сложные математические задачи. Его теория разума и «вроде как способность понимать» действия других тоже очень впечатляют. Все это указывает на интеллект ИИ; существующие, но не совсем такие, как наши.
Устранение хотя бы некоторых ошибок моделей ИИ, как правило, выполнимо, поэтому их интеллект может только расти. Все, что вам нужно сделать, это добавить модуль для точных расчетов, базу фактов и проверку с другой моделью.
Самое главное во всей этой истории — скорость развития ИИ. Модели GPT выросли огромными головокружительными темпами. Теперь доступны плагины ChatGPT, вы можете использовать модели GPT для написания кода, API-интерфейсы доступны широкой публике, и вы можете использовать внешние инструменты без предварительного обучения.
ГПТ-4, конечно, мир не завоюет, но экономику расшатать может сильно. GPT-5, и будущая итерация модели, возможно, не за горами и, вероятно, будет иметь гораздо более сильные возможности. И давайте смотреть правде в глаза, мы не можем надеяться понять еще не существующие модели; мы даже близко не подошли к пониманию уже существующих моделей. В этом смысле шестимесячный перерыв может быть хорошей идеей, но его может быть недостаточно.
А учитывая, что гонка ИИ началась, учиться некогда.
В общем, ввиду всего этого я тоже подписал петицию. Хотя я не верю, что это как-то поможет.
Читайте другие связанные темы: