MRockatansky/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-MTP-GGUF

INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT Use the fork of llama.cpp above with —spec-type draft-mtp enabled in llama-server to provide a nice speedup in token generation. The contributor of the fork explained their methodology on the model card below. I just did the same but with Nemotron Puzzle BF16 weights instead of using Nemotron Super: https://huggingface.co/Premshay/Nemotron-3-Super-120B-A12B-MTP-GGUF

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: MRockatansky
Теги: gguf, llama.cpp, nemotron, nemotron-3, latent-moe, speculative-decoding, mtp, mamba2
Лайков: 3  |  Загрузок: 284

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.