snowman0919/Qwopus3.6-27B-v2-heretic-GGUF

— Qwopus3.6-27B-v2-heretic-F16.gguf — Qwopus3.6-27B-v2-heretic-Q4KM.gguf For llama.cpp or llama-server, use Q4KM for normal inference. For vLLM, GGUF support is experimental. Prefer the HF safetensors model when possible. If using GGUF with vLLM, use the Q4KM file with the base tokenizer and base HF config.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: snowman0919
Теги: gguf, llama.cpp, vllm, qwen, qwopus, endpoints_compatible, conversational
Лайков: 3  |  Загрузок: 12

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.