Компактная модель кодирования Laguna MoE · llama.cpp GGUF · Q6K · Q4KM · Q2K Отказ удален с сохранением возможности — 0 отказов в HarmBench-320, MMLU в пределах ~0,6 балла от базовой Разрешительный исследовательский вариант у бассейна/Laguna-XS-2.1 — компактный член семейства Laguna агентного кодирования Mixture-of-Experts — упакован для llama.cpp как GGUF. Отказное поведение было удалено, а кодирование модели, рассуждения, использование инструментов и общие знания сохранены. В этой публичной карточке намеренно описаны только совместимость, оценка и ограничения. Подробности внутреннего создания не публикуются. В комплект входят токенизатор, шаблон чата Laguna (с поддержкой рассуждений и вызовов инструментов) и конфигурация генерации. Требуется последняя сборка llama.cpp с поддержкой архитектуры Laguna. Все кванты используют калибровку матрицы важности и поддерживают высокую точность внимания и маршрутизатора, поэтому качество сохраняется даже при 2-битном уровне. Возможности сохраняются — логит-MMLU-точность, каждый квант по сравнению с немодифицированной базой для одного и того же кванта (полный тест из 14 042 вопросов, рассуждения): каждый квант находится в пределах ~0,6 балла от своей базы — Q6 и Q4 являются положительными по возможностям. MMLU по темам: CRACK против базы по суперкатегориям (нажмите, чтобы…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: dealignai
Теги: gguf, llama.cpp, quantized, laguna, moe, coding, agentic, crack
Лайков: 5 | Загрузок: 2,144
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
