BitMamba-2-1B — это масштабируемая гибридная архитектура, которая интегрирует 1,58-битное троичное квантование (BitNet) в структуру модели пространства состояний Mamba-2. Обученный с нуля на 150 миллиардах токенов высококачественных данных, он демонстрирует, что троичные SSM следуют предсказуемым законам масштабирования, достигая возможностей конкурентного рассуждения при значительно сокращенном объеме памяти. — Архитектура: Mamba-2 SSM + BitNet b1.58 (троичные веса). — Параметры: 1Б. — Точность: 1,58 бита (веса {-1, 0, 1}). — Тренировочные токены: 150 миллиардов (FineWeb-Edu, Cosmopedia, Stack-Dedup). — Аппаратное обеспечение: обучение на Google Cloud TPU v6e. Масштабирование параметров с 255M до 1B приводит к постоянным улучшениям… Эта модель оптимизирована для развертывания на периферии с использованием нашего специального механизма вывода C++. Пакет bitmamba1b.msgpack содержит необработанные веса JAX для исследовательских целей. Вы можете загрузить их, используя исходный код, указанный в src/` на GitHub.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Zhayr1
Теги: jax, bitmamba, bitnet, mamba, ssm, 1.58-bit, ternary, efficient-inference
Лайков: 13 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
