MiniBananaMind-v4-9M — это небольшая модель причинно-следственного языка, обученная с помощью непрерывного предварительного обучения с помощью MiniBananaMind-v3-9M на Cosmopedia-v2. Модель имеет около 8,9 млн параметров и использует собственный токенизатор BPE байтового уровня на 8 тыс. токенов с токенизацией с учетом цифр. Это базовая языковая модель, а не настроенный на инструкции чат-помощник. MiniBananaMind-v4-9M использует тот же токенизатор 8k с поддержкой цифр, что и MiniBananaMind-v3-9M. Цифры хранятся как отдельные токены, поэтому числа не сжимаются в большое количество токенов во время токенизации. MiniBananaMind-v4-9M начинается с MiniBananaMind-v3-9M, который прошел обучение на FineWeb-Edu и FineMath, затем продолжает предварительное обучение на Cosmopedia-v2. В этой модели используется код пользовательской архитектуры, поэтому загрузите ее с параметромtrustremotecode=True. — dosample=False — повторение пенальти=1,1 — maxnewtokens=от 64 до 128 — dosample=True — температура=0,6 — topp=0,9 — повторение пенальти=1,1 — maxnewtokens=от 64 до 128`
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: BananaMind
Теги: minibanana, causal-lm, language-model, small-language-model, bananamind, fineweb-edu, finemath, cosmopedia-v2
Лайков: 5 | Загрузок: 269
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
