MoMo-72B-lora-1.8.6-DPO обучается с помощью оптимизации прямых предпочтений (DPO) на основе MoMo-72B-LoRA-V1.4 в качестве базовой модели с несколькими оптимизациями гиперпараметров. MoMo-72B-LoRA-V1.4 обучается посредством контролируемой точной настройки (SFT) с использованием LoRA, при этом модель QWEN-72B является базовой моделью. Обратите внимание, что мы не использовали какую-либо форму слияния весов. При отправке в таблицу лидеров тренированный вес корректируется для совместимости с ламой. MoMo-72B обучается с использованием платформы MoAI компании Moreh, которая упрощает обучение крупномасштабных моделей, и графического процессора AMD MI250. — slimorca — правда — orcadpopairs — Никакой другой набор данных не использовался — Не использовался ни набор эталонных тестов, ни обучающий набор — Результат проверки на загрязнение данных — Платформа AMD MI250 и MoAI — Посетите https://moreh.io/product для получения дополнительной информации о платформе MoAI — Или свяжитесь с нами напрямую по адресу contact@moreh.io
Модальности:
Генерация текста
Задача: Генерация текста
Автор: moreh
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 31 | Загрузок: 167
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
