Redmond-Hermes-Coder 15B — это современная языковая модель, настроенная на более чем 300 000 инструкций. Эта модель была доработана Nous Research, при этом Teknium и Karan4D возглавили процесс точной настройки и курирование наборов данных, Redmond AI спонсировала вычисления, а также несколько других участников. Эта модель была обучена с помощью базы WizardCoder, которая сама использует базовую модель StarCoder. Модель действительно хороша в написании кода, но у нее есть компромисс. Хотя он намного лучше работает с кодом, чем оригинальный Nous-Hermes, построенный на Llama, он хуже, чем WizardCoder, в тестах чистого кода, таких как HumanEval. На HumanEval он имеет 39%, а WizardCoder — 57%. Это предварительный эксперимент, и сейчас мы изучаем возможности его улучшения. Тем не менее, он кажется лучше, чем WizardCoder, в ряде задач, не связанных с программированием, включая задачи по написанию. Модель была почти полностью обучена на синтетических выходных данных GPT-4. Сюда входят данные из различных источников, таких как GPTeacher, General, Roleplay v1 и 2, наборы данных инструкций кода, Nous Instruct & PDACTL (неопубликованные), CodeAlpaca, Evol_Instruct Uncensored, GPT4-LLM и Unnatural Instructions. Дополнительные данные были получены из отдела биологии/физики/химии Camel-AI…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: NousResearch
Теги: gpt_bigcode, starcoder, wizardcoder, code, self-instruct, distillation, en, text-generation-inference
Лайков: 20 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
