MoMo-72B обучается посредством контролируемой точной настройки (SFT) с использованием LoRA, при этом модель QWEN-72B является базовой моделью. Обратите внимание, что мы не использовали какую-либо форму слияния весов. При отправке в таблицу лидеров тренированный вес корректируется для совместимости с ламой. MoMo-72B обучается с использованием платформы MoAI компании Moreh, которая упрощает обучение крупномасштабных моделей, и графического процессора AMD MI250. — Open-Orca/SlimOrca — Никакой другой набор данных не использовался. — Не используется набор эталонных тестов или обучающий набор. — Результат проверки на загрязнение данных. — AMD MI250 и платформа MoAI. — Посетите https://moreh.io/product для получения дополнительной информации о платформе MoAI. — Или свяжитесь с нами напрямую по адресу contact@moreh.io.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: moreh
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 87 | Загрузок: 755
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
