Расчет предоставлен PygmalionAI, спасибо! Следите за PygmalionAI в Твиттере @pygmalion_ai. Nous-Hermes-Llama2-70b — это современная языковая модель, настроенная на более чем 300 000 инструкций. Эта модель была доработана Nous Research, при этом Teknium и Emozilla возглавили процесс точной настройки и курирование наборов данных, Pygmalion спонсировал вычисления, а также несколько других участников. Эта модель Гермеса использует тот же набор данных, что и Гермес на Ламе-1. Это сделано для обеспечения согласованности между старым и новым Гермесом для всех, кто хотел сохранить Гермес похожим на старый, но более функциональным. Эта модель отличается длинными ответами, более низким уровнем галлюцинаций и отсутствием механизмов цензуры OpenAI в синтетических обучающих данных. Процесс тонкой настройки был выполнен с длиной последовательности 4096 на машине с 8x H100 80 ГБ. Модель была почти полностью обучена на синтетических выходных данных GPT-4. Использование высококачественных наборов данных GPT-4 обеспечивает невероятно высокое качество знаний, выполнения задач и стиля. Сюда входят данные из различных источников, таких как GPTeacher, General, Roleplay v1 и 2, наборы данных инструкций кода, Nous Instruct & PDACTL (неопубликованные) и некоторых других, подробно описанных далее…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, llama-2, self-instruct, distillation, synthetic instruction, en, text-generation-inference, endpoints_compatible
Лайков: 83 | Загрузок: 904
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
