Мы расширяем нашу модельную серию Olmo, представляя Olmo Hybrid, новую гибридную модель RNN 7B в семействе Olmo. Olmo Hybrid значительно превосходит Olmo 3 по конечной производительности, стабильно демонстрируя примерно двукратную эффективность данных при тестировании ядра в ходе нашего предварительного обучения. Мы также показываем прирост производительности в тестах с длинным контекстом, а также повышение эффективности вывода (пропускная способность и память) на длинных контекстах на 75%. Основные модели, выпущенные в этом пакете, включают следующее: Olmo — это серия моделей открытого языка, предназначенных для изучения языковых моделей. Эти модели предварительно обучаются на наборе данных Dolma 3 и проходят постобучение на наборах данных Dolci. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Вы можете использовать OLMo со стандартной библиотекой преобразователей HuggingFace: Для повышения производительности вы можете квантовать модель, используя следующий метод: Квантованная модель более чувствительна к типам данных и операциям CUDA. Чтобы избежать потенциальных проблем, рекомендуется передавать входные данные непосредственно в CUDA, используя: Мы выпустили контрольные точки для этих моделей. Для постобучения соглашение об именовании — «stepXXXX». К…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: olmo_hybrid, conversational, en, endpoints_compatible
Лайков: 17 | Загрузок: 592
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
