Эта модель представляет собой доработанную версию Meta-Lama/Meta-Llama-3-8B на — Magpie-Align/Magpie-Pro-MT-300K-v0.1, — Magpie-Align/Magpie-Reasoning-150K и — Magpie-Align/Magpie-Qwen2-Pro-200K-Chinese. По сравнению с версией 0.2 мы улучшили ее многоязычные возможности за счет включение нового набора данных с 200 тыс. китайских инструкций. Он достигает производительности, сравнимой с официальной моделью Llama-3-8B-Instruct только с SFT! Подробные результаты тестов следующие: — MT-Bench: 8,050 (1-й поворот), 7,350 (второй поворот), 7,700 (средний) — Alpaca Eval 2 (GPT-4-Turbo-1106): 26,37 (LC), 26,42 (WR) — Alpaca Eval 2 (Llama-3-8B-Instruct): 54,53 (LC), 55,26 (WR) — Arena Hard: 20,6 Шаблон разговора: Для достижения наилучшей производительности используйте официальный шаблон чата Llama 3. Как его использовать? Пожалуйста, посетите официальный репозиторий Llama 3 для получения подробных инструкций. Просто замените исходный идентификатор модели на Magpie-Align/Llama-3-8B-Magpie-Align-SFT-v0.3`. Если вы считаете модель, данные или код полезными, процитируйте нашу статью: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — trainbatchsize: 1 — evalbatchsize: 1 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 4 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Magpie-Align
Теги: llama, axolotl, generated_from_trainer, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8,043
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
