Квантуется до 8 бит на вес, размер группы 64 (4,2 ГБ, эффективная скорость передачи данных 8,5). Преобразован из Nanbeige/Nanbeige4.2-3B с помощью mlx-lm. Логиты порта MLX соответствуют эталонной реализации с максимальной разницей в абс 9,5e-05 (fp32, CPU). Nanbeige4.2-3B — это циклический преобразователь: его 22 слоя декодера выполняются дважды за прямой проход (numloops=2`) с общими весами, что дает 4B общих параметров с емкостью более глубокой модели. Тип модели nanbeige ожидает поддержки исходной версии в mlx-lm (ml-explore/mlx-lm#1597). Пока не слилось, установите из ветки PR: — MercuriusDream/Nanbeige4.2-3B-mlx-bf16 — MercuriusDream/Nanbeige4.2-3B-mlx-8bit — MercuriusDream/Nanbeige4.2-3B-mlx-6bit — MercuriusDream/Nanbeige4.2-3B-mlx-5bit — MercuriusDream/Nanbeige4.2-3B-mlx-4bit — MercuriusDream/Nanbeige4.2-3B-mlx-3bit — MercuriusDream/Nanbeige4.2-3B-mlx-2bit
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MercuriusDream
Теги: mlx, nanbeige, conversational, custom_code, en, zh, 8-bit
Лайков: 5 | Загрузок: 2,366
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
