Мы представляем Olmo 3, новое семейство моделей 7B и 32B. В этот пакет входят варианты Base, Instruct и Think. Базовые модели обучались с использованием поэтапного подхода. Olmo — это серия открытых языковых моделей, предназначенных для изучения языковых моделей. Эти модели обучены на наборе данных Dolma 3. Мы публикуем весь код, контрольные точки и связанные с ними детали обучения. Основные модели, выпущенные в этом пакете, включают следующее: Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности можно квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Мы выпустили контрольные точки для этих моделей. Для предварительного обучения соглашение об именах — stage1-stepXXX. Соглашениями для промежуточного обучения и длинного контекста являются stage2-stepXXX и stage3-stepXXX соответственно. Чтобы загрузить конкретную редакцию модели с помощью HuggingFace, просто добавьте аргумент ревизии: Или вы можете получить доступ ко всем редакциям моделей с помощью следующего фрагмента кода: Тонкую настройку модели можно выполнить с последней контрольной точки (…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo3, en, endpoints_compatible
Лайков: 57 | Загрузок: 123,759
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
