JetBrains/Mellum2-12B-A2.5B-Thinking-GGUF-BF16

This repository contains a GGUF BF16 quantization of JetBrains/Mellum2-12B-A2.5B-Thinking, ready to run with llama.cpp, Ollama, LM Studio, and other GGUF-compatible runtimes. Это квантование (BF16): 16 бит, без квантования. Эталон, относительно которого измеряются эти количественные показатели; самый большой файл. Mellum 2 Thinking is a Mixture-of-Experts reasoning model (64 experts, 8 activated per token, 131,072-token context) that emits its chain of thought inside … blocks before the final answer. Полное описание модели, результаты оценки и подробности архитектуры см. в исходной карточке модели: JetBrains/Mellum2-12B-A2.5B-Thinking. Расхождение KL и согласие топ-токена измеряются по логитам BF16 в Wikitext-2 (nctx=512`); более низкий KLD/более высокое согласие означает приближение к неквантованной модели. The server exposes an OpenAI-compatible API on http://localhost:8080/v1: For the full model card, evaluation results, and architecture details, refer to the original model: JetBrains/Mellum2-12B-A2.5B-Thinking.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: JetBrains
Теги: gguf, mellum, llama.cpp, quantized, moe, thinking, en, endpoints_compatible
Лайков: 6  |  Загрузок: 379

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.