Эта модель является точно настроенной версией meta-llama/Meta-Llama-3.1-8B на — Magpie-Align/Magpie-Pro-MT-300K-v0.1 и — Magpie-Align/Magpie-Reasoning-150K. Он достигает производительности, сопоставимой с официальной моделью Llama-3.1-8B-Instruct только с SFT! — Alpaca Eval 2 (GPT-4-Turbo-1106): 24,79 (LC), 25,05 (WR) — Arena Hard: 21,0 Лицензия: Пожалуйста, следуйте лицензии сообщества Meta Llama 3 (Data) и лицензии сообщества Meta Llama 3.1 (Model). Шаблон разговора: Пожалуйста, используйте официальный шаблон чата Llama 3 для лучшей производительности. Если вы считаете модель, данные или код полезными, пожалуйста, процитируйте нашу статью: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — размер пакета: 1 — размер пакета: 1 — семя: 42 — распределенный тип: мульти-GPU — количество устройств: 8 — шаги градиента накопления: 16 — общий размер пакета: 128 — общий размер пакета: 8 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: косинус — lrschedulerwarmupsteps: 79 — количество эпох: 2 — Трансформеры 4.43.1 — P
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Magpie-Align
Теги: llama, axolotl, generated_from_trainer, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 158
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
