Мы представляем Olmo 3, новое семейство моделей 7B и 32B, в вариантах Instruct и Think. Длинная цепочка мыслей улучшает мыслительные задачи, такие как математика и программирование. Olmo — это серия открытых языковых моделей, предназначенных для изучения языковых моделей. Эти модели предварительно обучаются на наборе данных Dolma 3 и проходят постобучение на наборах данных Dolci. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Семейство моделей RL-Zero представляет собой экспериментальный набор моделей для научных исследований обучения RLVR. Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности вы можете квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Точную настройку модели можно выполнить из финальной контрольной точки (основной версии этой модели) или базовой модели. Вы можете переопределить большинство параметров конфигурации из командной строки. Например, чтобы изменить скорость обучения, вы можете запустить сценарий следующим образом: — Разработано: Институт искусственного интеллекта Аллена (Ai2) — Тип модели: стиль Трансформера…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: olmo3, conversational, en, endpoints_compatible
Лайков: 7 | Загрузок: 186
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
