Мы представляем Olmo 3, новое семейство моделей 7B и 32B, в вариантах Instruct и Think. Длинная цепочка мыслей улучшает мыслительные задачи, такие как математика и программирование. Olmo — это серия открытых языковых моделей, предназначенных для изучения языковых моделей. Эти модели предварительно обучаются на наборе данных Dolma 3 и проходят постобучение на наборах данных Dolci. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Основные модели, выпущенные в этом пакете, включают следующее: Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности можно квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: — Разработано: Институт искусственного интеллекта Аллена (Ai2). — Тип модели: авторегрессионная языковая модель в стиле Transformer. — Язык(и) (NLP): Английский. — Лицензия: Эта модель распространяется по лицензии Apache 2.0. Он предназначен для исследовательского и образовательного использования в соответствии с Руководством по ответственному использованию Ai2. — Контакт: Технические запросы: olmo@allenai.org. Пресса: press@allenai.org — Окончание даты:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: olmo3, conversational, en, endpoints_compatible
Лайков: 7 | Загрузок: 25,159
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
