et0dev/MiniMax-M2.7-AWQ-4bit - Каталог нейросетей
Генерация текста

et0dev/MiniMax-M2.7-AWQ-4bit

Добавлено:
et0dev/MiniMax-M2.7-AWQ-4bit

W4A16 quantization of MiniMaxAI/MiniMax-M2.7, produced with llm-compressor. — Format: compressed-tensors pack-quantized, int4 weights / fp16 activations — Group size: 128, symmetric — Calibration: data-free, MSE observer — Kept in BF16: MoE routing gates and lmhead only — every other Linear is quantized, matching the ignore list from cyankiwi/MiniMax-M2.5-AWQ-4bit`.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: et0dev
Теги: vllm, minimax_m2, compressed-tensors, awq, w4a16, 4bit, marlin, minimax
Лайков: 3  |  Загрузок: 149

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.

Теги: #4bit #awq #compressed-tensors #marlin #minimax #minimax_m2 #vllm #w4a16

Похожие модели (Генерация текста)

Генерация текста

ibivibiv/giant-hydra-moe-240b

Да, вы правильно прочитали, это модель МЧС 4х70В с параметрами ~240В. Я сомневаюсь, что в ближайшее время мне...

7
HF Подробнее
Генерация текста

ml6team/gpt2-small-dutch-finetune-oscar

Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: ml6team Теги: jax, gpt2, adaption, recycled, gpt2-small, nl, text-generation-inference,...

5
HF Подробнее
Генерация текста

OpenBuddy/openbuddy-nemotron-70b-v23.1-131k

GitHub и руководство по использованию: https://github.com/OpenBuddy/OpenBuddy Лицензия: https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE Политика допустимого использования: https://llama.meta.com/llama3/use-policy Мы рекомендуем использовать быстрый токенизатор из...

15
HF Подробнее