WizardCoder-Guanaco-15B-V1.0 — это языковая модель, сочетающая в себе сильные стороны базовой модели WizardCoder и набора данных openassistant-guanaco для точной настройки. Набор данных openassistant-guanaco был дополнительно сокращен до 2 стандартных отклонений размера токена для входных и выходных пар, а все неанглоязычные данные были удалены, чтобы уменьшить требования к размеру обучения. Эта модель построена на основе базовой модели WizardCoder, большой языковой модели, известной своими впечатляющими возможностями в инструкциях, связанных с кодом. Базовая модель WizardCoder была дополнительно доработана с использованием QLORA на наборе данных openassistant-guanaco для улучшения ее генеративных способностей. Однако, чтобы обеспечить более целенаправленное обучение и обработку данных, набор данных был обрезан до двух стандартных отклонений от размера токена для наборов вопросов. Этот процесс повышает способность модели генерировать более точные и релевантные ответы, устраняя выбросы, которые потенциально могут исказить ответы. Кроме того, чтобы сосредоточиться на владении английским языком, из набора данных Гуанако были удалены все неанглоязычные данные. Эта модель предназначена для использования для широкого спектра задач по созданию текста, требующих понимания и создания…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: LoupGarou
Теги: gpt_bigcode, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 112
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
