Компьютер предоставлен спонсором нашего проекта Redmond AI, спасибо! Следите за новостями RedmondAI в Твиттере @RedmondAI. Nous-Hermes-Llama2-13b — это современная языковая модель, настроенная на более чем 300 000 инструкций. Эта модель была доработана Nous Research, при этом Teknium и Emozilla возглавили процесс точной настройки и курирование наборов данных, Redmond AI спонсировала вычисления, а также несколько других участников. Эта модель Гермеса использует тот же набор данных, что и Гермес на Ламе-1. Это сделано для обеспечения согласованности между старым и новым Гермесом для всех, кто хотел сохранить Гермес похожим на старый, но более функциональным. Эта модель выделяется долгим откликом, меньшим уровнем галлюцинаций и отсутствием механизмов цензуры OpenAI. Процесс тонкой настройки выполнялся с длиной последовательности 4096 на машине DGX с 8 процессорами a100 и памятью 80 ГБ. Модель была почти полностью обучена на синтетических выходных данных GPT-4. Использование высококачественных наборов данных GPT-4 обеспечивает невероятно высокое качество знаний, выполнения задач и стиля. Сюда входят данные из различных источников, таких как GPTeacher, General, Roleplay v1 и 2, наборы данных инструкций кода, Nous Instruct & PDACTL (неопубликованные) и некоторых других, подробно описанных ниже.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, llama-2, self-instruct, distillation, synthetic instruction, en, text-generation-inference, endpoints_compatible
Лайков: 320 | Загрузок: 1,127
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
