OpenHermes 7B — это первая усовершенствованная версия набора данных Hermes, имеющая полностью открытый исходный код! Уникальность этой модели 7B заключается в том, что она использует упаковку выборок, которая ускоряет обучение во много раз, если средние значения токенов набора данных не близки к максимальной длине последовательности. OpenHermes был обучен на 242 000 записях данных, сгенерированных преимущественно GPT-4, из открытых наборов данных в среде ИИ, включая: — GPTeacher — General Instruct, Roleplay v1, Roleplay v2 и Code Instruct Datasets от Teknium — WizardLM (v1, evol_instruct 70k), от WizardLM Team/nlpxucan — Airoboros GPT-4 (v1.0), от JonDurbin — экспертные наборы данных Camel-AI от команды Camel-AI — CodeAlpaca от Sahil2801 — GPT4-LLM и Unnatural Instructions от Microsoft Фильтрация включала удаление отказов OpenAI, заявлений об отказе от ответственности, примеров типа «Как ИИ» и многого другого. Базовый набор данных, на котором обучалась модель, идентичен набору данных Nous-Hermes, за исключением наборов данных Nous-Instruct и PDACTL, которые были частными. наборы данных. Проект WANDB является общедоступным, и с ним можно ознакомиться по этой ссылке: https://wandb.ai/teknium1/openhermes/runs/openhermes-v2-qlora-7b-packed Огромное спасибо main_horse за доступ к вычислениям и a16z за спонсирование моего…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: teknium
Теги: llama, llama-2, instruct, finetune, alpaca, gpt4, synthetic data, distillation
Лайков: 14 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
