Этот репозиторий GGUF является рекомендацией по локальной модели по умолчанию для агента Lynn. Lynn v0.85.6+ использует Qwen3.6-27B-DSV4Pro-Distill-MTP-Q5KM-imatrix.gguf в качестве периферийной модели первого выбора для машин с 24 ГБ видеопамяти или унифицированной памятью; Машины с 32 ГБ и более могут выбрать путь 35B-A3B Q5KM, в то время как 9B / 4B остаются явным переходом на более раннюю версию с низкой конфигурацией. — Загрузите агент Lynn: выпуски GitHub (текущий выпуск для рабочего стола/CLI: v0.85.6). — Квант по умолчанию в Lynn: Q5KM imatrix + собственный MTP (—spec-draft-n-max 3). — Рекомендуемое использование: локальное агентное рассуждение, кодирование и независимый от облака резервный вариант внутри Lynn. Квантование GGUF nerkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill — рассуждение Qwen3.6-27B (плотное) в стиле DeepSeek-V4-Pro ReAct. Каждый GGUF имеет собственную головку MTP (многотокеновое предсказание) и корректируется с помощью иматричной коррекции (кроме Q80/BF16). Дистилляция меняет только стиль мышления* (модель учится сходиться), а не кодирование или знания. > IQ4XS — это пол. Размер рассчитан на карту 16 ГБ видеопамяти с нулевой разгрузкой ЦП (вес 14,3 ГиБ + запас для KV). Проверенная дымом сходимость (3/3 аргументированных подсказок правильны, 0 длина-разгон, EN + ZH) со скоростью 31 т/с в одном потоке с собственной головкой MTP (—spec-type Draft-MTP, принять…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение
Задача: Генерация текста
Автор: nerkyor
Теги: gguf, llama.cpp, mtp, imatrix, reasoning, distillation
Лайков: 6 | Загрузок: 41,039
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
