Первая коммерчески доступная языковая модель, выпущенная Nous Research! Redmond-Puffin-13B, вероятно, является первой в мире точно настроенной языковой моделью на основе llama-2, в которой используется тщательно подобранный набор высококачественных примеров в формате 3K, многие из которых в полной мере используют преимущества длины контекста 4096 Llama 2. Эта модель была доработана Nous Research, а LDJ возглавлял обучение и курирование наборов данных, а также значительный вклад в формирование набора данных со стороны J-Supha. Особая благодарность Emozilla за помощь в проведении обучающих экспериментов и решение многих проблем, возникших во время обучения. Заслужили упоминания за помощь в некоторых вопросах обучения: Caseus и Teknium. Redmond-Puffin 13B-V1.3 — это новая модель, обученная для нескольких эпох на наборе данных из 3000 тщательно отобранных примеров GPT-4, большинство из которых представляют собой длинные контекстные разговоры между реальным человеком и GPT-4. Дополнительные данные были получены из тщательно отобранных подразделов наборов данных, таких как «Физика», «Химия», «Биология» и «Математика» CamelAI. ВНИМАНИЕ: ПРЕДЫДУЩАЯ РЕКОМЕНДАЦИЯ, КОТОРАЯ ГОВОРИЛА ИСПОЛЬЗОВАТЬ «### human» и «# response», БЫЛА КРИТИЧЕСКОЙ ОШИБКОЙ, ПОЖАЛУЙСТА, ИСПОЛЬЗУЙТЕ ТОЧНЫЙ ПРЕФИКС И СУФФИКС НИЖЕ. Тупик и Гермес-2 обыграли предыдущую SOTA по…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NousResearch
Теги: llama, llama-2, sft, eng, text-generation-inference, endpoints_compatible
Лайков: 110 | Загрузок: 803
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
