Эта модель 8B была обучена с нуля с помощью токенизатора SuperBPE. SuperBPE расширяет алгоритм BPE, включив в него как традиционные токены подслов (содержащиеся в границах слов), так и новые токены суперслова (содержащие части нескольких слов)! Благодаря кодированию того же объема текста в меньшем количестве токенов эта модель в среднем на 27 % более эффективна во времени вывода по сравнению с моделью, обученной с помощью BPE. Модель была обучена с использованием архитектуры Olmo2 7B и данных предварительного обучения. Он имеет длину контекста 3000 токенов (чтобы соответствовать эффективному размеру контекста в байтах модели BPE с длиной контекста 4096 токенов) и обучен на 331B токенах. Размер словарного запаса токенизатора составляет 200 тысяч, а переход от изучения подслов к изучению токенов суперслова осуществляется при размере словаря 180 тысяч.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: UW
Теги: olmo2, en, endpoints_compatible
Лайков: 7 | Загрузок: 84
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
