Отредактировано и проверено фактами
Коротко
Guanaco, чат-бот с открытым исходным кодом, разработанный исследователями Вашингтонского университета, стремится конкурировать с ChatGPT, требуя при этом меньше времени и денег на обучение.
Однако новое исследование поставило под сомнение эффективность таких моделей, как Alpaca.
Чтобы улучшить ваше взаимодействие с местным языком, иногда мы используем плагин автоматического перевода. Обратите внимание, что автоперевод может быть неточным, поэтому читайте оригинал статья для точной информации.
Об этом сообщили исследователи из Вашингтонского университета. гуанако, чат-бот с открытым исходным кодом, который стремится конкурировать с ChatGPT по производительности, значительно сокращая время и ресурсы, необходимые для обучения. Названный в честь южноамериканского родственника лам, язык Guanaco построен на языковой модели LLaMA и включает в себя новый метод тонкой настройки под названием QLoRA.
Отредактировано и проверено фактами
Создатели Guanaco утверждают, что его производительность сопоставима с ChatGPT, но его можно обучить всего за один день. Это замечательное достижение стало возможным благодаря QLoRA, методу тонкой настройки языковой модели, который существенно уменьшает объем памяти графического процессора, необходимый для обучения. Пока ChatGPT требуется колоссальные 780 ГБ памяти графического процессора для модели с 65 миллиардами параметров самая простая версия Guanaco требует всего 5 ГБ.
Благодаря такому впечатляющему повышению эффективности, Guanaco и аналогичные модели с открытым исходным кодом бросают вызов представлению о том, что дорогостоящее обучение необходимо для самые современные языковые модели. Появление гуанако, Альпака, и другие модели этот поезд за небольшую часть стоимости привел к предположениям о будущем дорогостоящих моделей, таких как GPT.
Однако не все согласны с этим оптимистичным взглядом на модели с открытым исходным кодом. Недавнее исследование, проведенное Калифорнийским университетом поставил под сомнение о возможностях таких моделей, как альпаки, и поднял вопрос об их истинном потенциале. Изначально исследователи пришли к такому же выводу, что и создатели Guanaco: при правильном обучении модели с открытым исходным кодом могут соперничать по возможностям с GPT. Дальнейшие испытания выявили существенное ограничение. Эти модели «Долли», как их иногда называют, умеют имитировать решения проблем, с которыми они столкнулись во время обучения. Однако они изо всех сил стараются хорошо выполнять задачи, с которыми они не были явно связаны, отставая от более продвинутых моделей.
Это откровение предполагает, что миллионы вложено в обучение GPT и подобные модели, возможно, не были напрасными. Хотя Guanaco и его аналоги демонстрируют многообещающие результаты, все еще есть области, в которых превосходят более сложные модели. Стоит отметить, что исследование, проведенное Калифорнийским университетом бросает вызов распространенному мнению о том, что модели с открытым исходным кодом могут полностью заменить дорогие модели, такие как GPT.
По мере развития области обработки естественного языка будет интересно наблюдать за тем, как Гуанако и другие модели с открытым исходным кодом справляются с устоявшимися тесты, такие как ChatGPT. Высокий уровень инноваций и непрерывные исследования, несомненно, повлияют на будущее языковых моделей и определят, какие модели станут предпочтительным выбором для конкретных приложений.
Подробнее об ИИ: