pirola/gemma-4-26B-A4B-it-MXFP4-GGUF - Каталог нейросетей
Генерация текста

pirola/gemma-4-26B-A4B-it-MXFP4-GGUF

Добавлено:
pirola/gemma-4-26B-A4B-it-MXFP4-GGUF

Настроенное вручную квантование смешанной точности для Gemma-4 26B-A4B. 13,1 ГБ · 4,50 BPW · Wikitext-2 PPL 226,42 ±3,35 Типы тензоров и зоны слоев были разработаны вручную и проверены в ходе более чем 20 экспериментов специально для плиток Blackwell MXFP4 MMA на RTX 5080. Все маршрутизируемые экспертные тензоры используют MXFP4 — единственный формат с выделенным аппаратным путем sm_120. Всегда активные веса (плотный FFN, внимание, внедрения) используют форматы более высокой точности, настроенные для каждой роли. Вывод веса MXFP4 доступен в llama.cpp b8493 и более поздних версиях. Сборка с целевой архитектурой 120f-real — это необходимо для инструкций MXFP4 PTX; Plain 120 завершится неудачей (проблема № 19662): > 120f против 120: 120f-real включает полный набор инструкций Blackwell, включая блочный MMA для MXFP4. Без суффикса f операции MXFP4 возвращаются к программной эмуляции или полностью терпят неудачу. Флаги -ctk mxfp4 -ctv mxfp4 требуют наличия ветки feat/mxfp4-kv-cache, основанной на b8675 (коммит 06ffd4dfd). Это еще не объединено с основной веткой. Без кеша KV mxfp4 вы все равно можете запустить эту модель в сокращенном контексте с помощью -ctk q80 -ctv q80. Требуется CUDA 12.8+ или CUDA 13.2. В CUDA 12.6 или более ранней версии кодовый генератор sm_120 недоступен. Контекст ограничен видеопамятью, а не…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: pirola
Теги: gguf, moe, mxfp4, blackwell, rtx-5080, en, endpoints_compatible, imatrix
Лайков: 6  |  Загрузок: 143

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.