> OLMoE-1B-7B — это LLM, объединяющий экспертов, с 1B активных и 7B общими параметрами, выпущенный в январе 2025 года (0125) и имеющий 100% открытый исходный код. Это улучшенная версия ОЛМоЭ-09-24, подробности см. в приложении к статье. Эту и другую информацию также можно найти в репозитории OLMoE GitHub. — Документ: arxiv.org/abs/2409.02060 — Контрольные точки предварительного обучения, код, данные и журналы. — Контрольные точки SFT (контролируемая точная настройка), код, данные и журналы. — DPO/KTO (оптимизация прямых предпочтений/оптимизация Канемана-Тверски), контрольные точки, данные предпочтений, код DPO, код KTO и журналы. Установите трансформаторы (версия 4.45.0 или более поздняя версия), запустите и запустите: вы можете перечислить все версии/ветви, установивhuggingface-hub и запустив: Важные ветки: -step1200000-tokens5033B: контрольная точка предварительного обучения, используемая для отжига. После этого есть еще несколько чекпоинтов, но мы ими не воспользовались. — main: контрольная точка, отожженная из шага 1200000-tokens5033B для дополнительных 100B токенов (23 842 шага). Мы используем эту контрольную точку для нашей адаптации (https://huggingface.co/allenai/OLMoE-1B-7B-0125-SFT и https://huggingface.co/allenai/OLMoE-1B-7B-0125-Instruct). — fp32: версия main FP32. Вес модели был сохранен…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmoe, moe, olmo, en, co2_eq_emissions, endpoints_compatible
Лайков: 35 | Загрузок: 24,853
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
