Мы представляем Olmo 3, новое семейство моделей 7B и 32B, в вариантах Instruct и Think. Длинная цепочка мыслей улучшает мыслительные задачи, такие как математика и программирование. Olmo — это серия открытых языковых моделей, предназначенных для изучения языковых моделей. Эти модели предварительно обучаются на наборе данных Dolma 3 и проходят постобучение на наборах данных Dolci. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Основные модели, выпущенные в этом пакете, включают следующее: Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности можно квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Мы выпустили контрольные точки для этих моделей. Для постобучения соглашение об именовании — «stepXXXX». ПРИМЕЧАНИЕ**. Для этой модели из-за проблемы с контрольными точками мы выпускаем только несколько последних контрольных точек. См. другие наши вакансии RL для получения более подробной информации о наборе промежуточных контрольных точек. Чтобы загрузить конкретную версию модели с помощью HuggingFace, просто добавьте версию аргумента: Или вы можете получить доступ ко всем…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: allenai
Теги: olmo3, conversational, en, endpoints_compatible
Лайков: 72 | Загрузок: 58,854
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
