Gemma 4 31B Инструкция, квантованная до 4-бит для Apple Silicon с использованием MLX. — Базовая модель: google/gemma-4-31B-it — Квантование: 4-бит, размер группы 64, аффинный режим — Память: ~17,5 ГБ — Скорость: генерация ~33 токенов/с, предварительное заполнение ~100 токенов/с (M3 Ultra) mlx-lm 0.31.1 имеет ошибку в gemma4text.py `, которая вызывает вывод мусора (повторяющиеся токены). Это касается ВСЕХ моделей Gemma 4 MLX. В своей установке mlx-lm отредактируйте mlxlm/models/gemma4text.py, найдите методAttention.init__ `и измените: Gemma 4 использует нормы Q/K вместо масштабированного точечного внимания, поэтому шкала внимания должна быть 1,0. Особенности Gemma 4 31B: — 60 слоев трансформатора со скользящим рисунком полного внимания — 32 головки внимания, 16 головок КВ (скользящие), 4 глобальных головки КВ — Head dim 256 (скользящие), 512 (глобальные) — K-eq-V внимание для глобальных слоев — 262K словарь, до 256K контекст токенов — Встроенный режим рассуждений (канал мышления) — Создано Нейтом Барански (@ Phipper) — Модель от Google DeepMind — Поддержка архитектуры MLX от Prince Canuma — Исправление ошибок, квантование
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Phipper
Теги: mlx, gemma4, google, conversational, 4-bit
Лайков: 4 | Загрузок: 86
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
