Databricks публикует Dolly 2.0, первый коммерчески доступный 12B Chat-LLM с открытым исходным кодом.

Коротко

Компания Databricks объявила о выпуске Dolly 2.0 в качестве первого коммерчески доступного 12-битного Chat-LLM с открытым исходным кодом, позволяющего компаниям создавать мощные языковые модели без вложений в дорогостоящие кластеры графических процессоров.

Databricks имеет объявленный запуск Dolly 2.0 как первого коммерчески доступного 12B Chat-LLM с открытым исходным кодом. Dolly — это крупный прорыв в индустрии машинного обучения, позволяющий компаниям создавать мощные языковые модели, такие как авторегрессионные LLM с поддержкой диалогов, без необходимости вкладывать средства в дорогостоящие кластеры графических процессоров.

Чтобы получить свою языковую модель с открытым исходным кодом, Databricks нуждался в большом высококачественном наборе данных. После первоначального рассмотрения набора данных Alpaca GPT-3 и других наборов данных с открытым исходным кодом, которые не допускают коммерческого использования, они решили создать свой собственный высококачественный набор данных. Для этого они наняли 5,000 человек и попросили их написать несколько примеров, которые будут использоваться для обучения авторегрессионного LLM, способного просто продолжать текст, а не вести диалог. С помощью отличных поощрений, таких как бонусы за написание лучших примеров, им удалось собрать впечатляющую Набор данных из 15,000 XNUMX образцов.

Databricks сделали следующий шаг и включили EleutherAI в Пифия-12Б языковой модели с лицензией MIT и переобучили ее на собственном наборе данных, в результате чего появилась Dolly 2.0. Dolly 2.0 была выпущена под лицензией MIT вместе с сопровождающим кодом. С запуском Dolly 2.0 индустрия машинного обучения теперь имеет мощный инструмент для создания надежных языковых моделей экономичным способом. Это может быть использовано как компаниями, так и частными лицами, которые хотят создавать мощные приложения, которые могут понимать и обрабатывать сложный язык.

В целом, запуск Долли 2.0 поскольку первый коммерчески доступный 12B Chat-LLM с открытым исходным кодом является важной вехой для индустрии машинного обучения. Воспользовавшись лицензией MIT и создав собственный высококачественный набор данных, Databricks сделала мощные языковые модели доступными как для компаний, так и для частных лиц. Dolly 2.0 совершит революцию в отрасли и станет важным шагом вперед для машинного обучения.

Сейчас пользователи ждут, когда разработчики квантуют Dolly в 4 бита и ускорят ее для работы на ЦП, а также ответа от OpenAssistant, который, как ожидается, предоставит свою модель в ближайшие несколько дней.

Подробнее об ИИ:

Источник