OpenHermes 13B — это первая усовершенствованная версия набора данных Hermes, имеющая полностью открытый исходный код! OpenHermes был обучен на 242 000 записях данных, сгенерированных преимущественно GPT-4, из открытых наборов данных в среде ИИ, включая: — GPTeacher — General Instruct, Roleplay v1, Roleplay v2 и Code Instruct Datasets от Teknium — WizardLM (v1, evol_instruct 70k), от WizardLM Team/nlpxucan — Airoboros GPT-4 (v1.0), от JonDurbin — экспертные наборы данных Camel-AI от команды Camel-AI — CodeAlpaca от Sahil2801 — GPT4-LLM и Unnatural Instructions от Microsoft Фильтрация включала удаление отказов OpenAI, заявлений об отказе от ответственности, примеров типа «Как ИИ» и многого другого. Базовый набор данных, на котором обучалась модель, идентичен набору данных Nous-Hermes, за исключением наборов данных Nous-Instruct и PDACTL, которые были частными. наборы данных. Проект WANDB является общедоступным, и с ним можно ознакомиться по этой ссылке: https://wandb.ai/teknium1/openhermes/runs/openhermes-v2-fullft-13b Огромное спасибо main_horse за доступ к вычислениям и a16z за спонсирование моей работы, а также всем создателям наборов данных и другим людям, чья работа внесла свой вклад в этот проект! Это небольшое улучшение GPT4ALL Suite и BigBench Suite с уменьшением…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: teknium
Теги: llama, llama-2, instruct, finetune, alpaca, gpt4, synthetic data, distillation
Лайков: 56 | Загрузок: 1,478
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
