Это квантование модели Nemotron-Cascade-2-30B-A3B. Основной стандарт предполагает использование MXFP4 для тензоров MoE и Q8 для остальных. Поэтому я создал 2 новых варианта, в которых другие тензоры — либо BF16, либо FP16 вместо Q8. Порядок предпочтения: BF16, затем F16. На некоторых архитектурах BF16 будет медленнее, но он высочайшего качества, по сути, это оригинальные тензоры из модели, скопированные в неквантованном виде.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: noctrex
Теги: gguf, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
