Laguna XS 2.1-FP8 — это модель Mixture-of-Experts с общим объемом 33 миллиарда параметров и 3 миллиардами активированных параметров на каждый токен, предназначенная для агентного кодирования и долгосрочной работы на локальном компьютере. Он использует скользящее окно внимания с разделением 30 из 40 слоев для каждой головы для быстрого вывода и низких требований к кэш-памяти KV. > [!NOTE] > Это вариант FP8 с квантованным KV-кешем FP8. Варианты BF16, NVFP4 и INT4 также доступны на Hugging Face. — Смешанное SWA и глобальное расположение внимания: Laguna XS 2.1 использует сигмовидное стробирование с послойной вращающейся шкалой, обеспечивая смешанное SWA (скользящее окно внимания) и глобальное внимание в соотношении 3:1 (всего 40 слоев) — Кэш KV в FP8: кэш KV квантуется до FP8, уменьшая объем памяти на токен — Встроенная поддержка рассуждений: чередующееся мышление между вызовами инструментов с поддержкой включения и отключения мышления по запросу — Готовность к локальному использованию: при общем количестве параметров 33B и активированных 3B Laguna XS 2.1 достаточно компактна для работы на Mac с 36 ГБ оперативной памяти. Доступно на Ollama и llama.cpp (только BF16 и Q4KM). Лицензия OpenMDW-1.1: свободно используйте и изменяйте модель и связанные с ней материалы в коммерческих и некоммерческих целях (подробнее об OpenMDW)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: poolside
Теги: vllm, laguna, laguna-xs-2.1, conversational, custom_code, compressed-tensors
Лайков: 6 | Загрузок: 7,728
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
