Представляем OLMo 2 1B, самую маленькую модель семейства OLMo 2. OLMo 2 предварительно обучен на OLMo-mix-1124 и использует Dolmino-mix-1124 для промежуточного обучения. OLMo 2 — последняя версия серии открытых языковых моделей, разработанная для изучения языковых моделей. Мы разместили весь код, контрольные точки, журналы и связанные с ними подробности обучения на GitHub. Основные модели, выпущенные в этом пакете, включают следующее: Если вы используете vLLM, вам придется устанавливать его из основной ветки до тех пор, пока не будет выпущена версия 0.7.4. Пожалуйста, вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности вы можете квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Мы выпустили контрольные точки для этих моделей. Для предварительного обучения соглашение об именовании — stage1-stepXXX-tokensYYYB. Для контрольных точек с ингредиентами супа используется следующее соглашение об именах: stage2-ingredientN-stepXXX-tokensYYYB. Чтобы загрузить конкретную версию модели с помощью HuggingFace, просто добавьте версию аргумента: Или вы можете получить доступ ко всем версиям моделей с помощью следующего кода…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: allenai
Теги: olmo2, en, endpoints_compatible
Лайков: 72 | Загрузок: 820,413
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
