> OLMoE-1B-7B-Instruct — это LLM для смешанных специалистов с 1B активными и 7B общими параметрами, выпущенный в сентябре 2024 г. (09:24), который был адаптирован с помощью SFT и DPO из OLMoE-1B-7B. Он обеспечивает самую современную производительность среди моделей с аналогичной стоимостью (1B) и конкурирует с гораздо более крупными моделями, такими как Llama2-13B-Chat. OLMoE имеет 100% открытый исходный код. Эту и другую информацию также можно найти в репозитории OLMoE GitHub. — Документ: https://arxiv.org/abs/2409.02060 — Контрольные точки предварительного обучения, код, данные и журналы. — Контрольные точки SFT (контролируемая точная настройка), код, данные и журналы. — DPO/KTO (оптимизация прямых предпочтений/оптимизация Канемана-Тверски), контрольные точки, данные предпочтений, код DPO, код KTO и журналы. Установите трансформаторы из исходного кода до выпуска после этого PR и факела и запустите: Ветви: — основная: предпочтения, настроенные с помощью модели DPO https://hf.co/allenai/OLMoE-1B-7B-0924-SFT (основная ветка) — балансировка нагрузки: удаление с потерями балансировки нагрузки во время DPO, начиная с ветки балансировки нагрузки https://hf.co/allenai/OLMoE-1B-7B-0924-SFT — без отжига: абляция начинается с неотожженной ветви https://hf.co/allenai/OLMoE-1B-7B-0924-SFT, которая представляет собой SFT предварительной тренировки…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: allenai
Теги: olmoe, moe, olmo, conversational, en, co2_eq_emissions, endpoints_compatible
Лайков: 94 | Загрузок: 10,931
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
