Databricks объявляет о выпуске Dolly, еще одного «бюджетного» конкурента ChatGPT с открытым исходным кодом
Коротко
Dolly — это клон Alpaca, созданный Databricks для демократизации доступа к большим языковым моделям.
Его можно обучить на небольшом количестве информации, потратив всего 30 долларов и 3 часа работы.
На прошлой неделе заговорили о продукте, похожем на ChatGPT, под названием Alpaca, обучение которого стоит в сотни раз меньше моделей OpenAI за счет использования синтетической информации, сгенерированной с помощью GPT. А теперь познакомьтесь Долли, клон альпаки, названный в честь клона овечки Долли, чья миссия состоит в том, чтобы демократизировать доступ к большим языковым моделям. Программисты в Databricks сказать что Долли можно обучить небольшому количеству информации всего за 30 долларов и 3 часа работы. В этом случае вам не нужен суперкомпьютер за несколько десятков тысяч долларов.
| Прочитайте больше: 20+ лучших чат-ботов Telegram AI 2023 года (ChatGPT и GPT-4) |
Ожидается, что Dolly изменит правила игры в области обработки естественного языка, поскольку позволит малым предприятиям и частным лицам разрабатывать свои собственные языковые модели без больших затрат. Эта демократизация доступа к большим языковым моделям может привести к всплеску инноваций и творчества в области ИИ.
Долли была создана на основе 2020 Элеутер языковая модель, которая имеет всего 6 миллиардов параметров по сравнению со 135 миллиардами в GPT. Старая модель была модифицирована с помощью информации, полученной от упомянутой выше Альпаки, и достигнута возможность следовать подсказкам пользователя, чего не было в исходной версии. Теперь он может работать как чат-бот, генерировать текст и проводить мозговые штурмы на заданную тему.
Несмотря на наличие всего 6 миллиардов параметров, Dolly продемонстрировала впечатляющую производительность в языковых задачах и может стать более эффективной и экономичной альтернативой более крупным моделям, таким как GPT. При дальнейшем развитии и обучении Dolly может стать ценным инструментом для приложений обработки естественного языка.
Из этого Databricks делает предположение, что крутость того же ChatGPT именно в качестве информации, на которой обучался чат-бот, а не в технической продвинутости самой модели. Ведь Долли, поясняют разработчики, выучила подобные способности за очень короткое время, хотя и не на таком высоком уровне. Это подчеркивает важность высококачественных обучающих данных для создания эффективных чат-ботов. Это также предполагает, что технические достижения в обработке естественного языка не всегда могут быть ключевым фактором повышения производительности чат-бота.
Читайте другие связанные темы: