Мы представляем Olmo 3, новое семейство моделей 7B и 32B, в вариантах Instruct и Think. Длинная цепочка мыслей улучшает мыслительные задачи, такие как математика и программирование. Olmo — это серия открытых языковых моделей, предназначенных для изучения языковых моделей. Эти модели предварительно обучаются на наборе данных Dolma 3 и проходят постобучение на наборах данных Dolci. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Основные модели, выпущенные в этом пакете, включают следующее: Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности можно квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Мы выпустили контрольные точки для этих моделей. Для постобучения соглашение об именовании — «stepXXX». Чтобы загрузить конкретную редакцию модели с помощью HuggingFace, просто добавьте аргумент ревизии: Или вы можете получить доступ ко всем редакциям моделей с помощью следующего фрагмента кода: — Разработано: Институт Аллена для искусственного интеллекта (Ai2) — Тип модели: языковая модель авторегрессии в стиле Transformer. -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: olmo3, conversational, en, endpoints_compatible
Лайков: 87 | Загрузок: 10,150
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
