> 📢 Ищете GGUF для llama.cpp/Ollama/LM Studio? В этом репозитории содержатся сжатые безопасные тензоры fraQtl (время выполнения преобразователей, сжатие V-кэша). Для GGUF Q4KM той же базовой модели — вставки для llama.cpp/Ollama/LM Studio/koboldcpp/Jan — см. fraQtl/Qwen3.6-35B-A3B-GGUF (21,4 ГБ, ~30 % меньше KLD по сравнению с учителем Q8, чем стандартный Q4KM на нашем измеренном коде/математике + общие фрагменты). Сжатый артефакт Qwen3.6-35B-A3B. Уменьшает объем модели и открывает возможности долгоконтекстного вывода на одном графическом процессоре, сохраняя при этом качество генерации ядра. Этот выпуск является общедоступным артефактом со сжатием по весу. Сжатие KV-кэша во время выполнения fraQtl — это отдельный уровень раннего доступа. > Информацию о пилотных проектах вывода, пользовательских рабочих процессах сжатия и более новых артефактах см. на странице fraqtl.ai/contact или по электронной почте contact@fraqtl.ai. > Без fraqtl-runtime эта модель не загрузится. Колесо поставляется > скомпилированный загрузчик, который декодирует упакованные сжатые веса. Вызова «enable» на уровне Python не требуется — установите колесо, и frompretrained` заработает. Вот и вся установка. Сжатие — это часть способа хранения артефакта, а не режим выполнения, который вы переключаете. > Почему колесо: погрузчик реконструирует…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fraQtl
Теги: qwen3_5_moe_text, compressed, moe, fraqtl, long-context, conversational, custom_code, endpoints_compatible
Лайков: 6 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
