Модели Гуанако представляют собой точно настроенные чат-боты с открытым исходным кодом, полученные посредством 4-битной настройки QLoRA базовых моделей LLaMA на наборе данных OASST1. Они доступны с размерами параметров 7B, 13B, 33B и 65B. ⚠️Гуанако — это модель, предназначенная исключительно для исследовательских целей и может давать сомнительные результаты. — Конкурентоспособность с коммерческими системами чат-ботов в тестах Vicuna и OpenAssistant (ChatGPT и BARD) по мнению оценщиков-людей и GPT-4. Отметим, что относительная производительность на задачах, не вошедших в эти тесты, может сильно отличаться. Кроме того, коммерческие системы со временем развиваются (мы использовали результаты версии моделей за март 2023 года). — Доступен с открытым исходным кодом для исследовательских целей. Модели Guanaco позволяют дешево и локально экспериментировать с высококачественными системами чат-ботов. — Воспроизводимая и эффективная процедура обучения, которую можно распространить на новые варианты использования. Сценарии обучения Гуанако доступны в репозитории QLoRA. — Строгое сравнение с 16-битными методами (как 16-битной полной настройки, так и LoRA) в нашей статье демонстрирует эффективность 4-битной точной настройки QLoRA. — Легкие контрольно-пропускные пункты, содержащие только адаптерные грузы. Грузовые адаптеры Guanaco доступны в Apache 2…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: localmodels
Теги: llama, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
