Nous-Hermes-13b — это современная языковая модель, настроенная на более чем 300 000 инструкций. Эта модель была доработана Nous Research, при этом Teknium и Karan4D возглавили процесс точной настройки и курирование наборов данных, Redmond AI спонсировала вычисления, а также несколько других участников. Результатом стала усовершенствованная модель Llama 13b, которая по производительности при выполнении различных задач может соперничать с GPT-3.5-turbo. Эта модель выделяется долгим откликом, низким уровнем галлюцинаций и отсутствием механизмов цензуры OpenAI. Процесс тонкой настройки выполнялся с длиной последовательности 2000 на машине DGX с 8x a100 и 80 ГБ в течение более 50 часов. Модель была почти полностью обучена на синтетических выходных данных GPT-4. Сюда входят данные из различных источников, таких как GPTeacher, General, Roleplay v1 и 2, наборы данных инструкций кода, Nous Instruct & PDACTL (неопубликованные), CodeAlpaca, Evol_Instruct Uncensored, GPT4-LLM и Unnatural Instructions. Дополнительные входные данные были получены из наборов данных по биологии/физике/химии и математике Camel-AI, набора данных GPT-4 Airoboros и других данных от CodeAlpaca. Общий объем данных включал более 300 000 инструкций. Точная настройка модели и наборы данных стали результатом сотрудничества усилий и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, self-instruct, distillation, en, text-generation-inference, endpoints_compatible
Лайков: 453 | Загрузок: 1,289
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
