Квантование GGUF GestaltLabs/Ornstein-3.6-27B — плотная мультимодальная тонкая настройка Qwen 3.6 27B с гибридной линейной + полным вниманием. Я аспирант в области визуальной нейробиологии в Университете Торонто, который также тратит слишком много времени на точную настройку, объединение и квантование моделей открытого веса на арендованных H100 и местном DGX Spark. Все тренировочные вычисления осуществляются за счет собственных средств — затраты на графические процессоры уравновешиваются бюджетом студента. Если мои загрузки были вам полезны, подумайте о том, чтобы купить аспиранту кофе. Это имеет большое значение для продолжения этих экспериментов. BF16/F16 GGUF здесь не поставляется — если вам нужна полная точность, возьмите защитные датчики из базового репозитория. LM Studio, Ollama (через файл модели), koboldcpp и text-generation-webui загружают эти GGUF при условии, что их встроенный файл llama.cpp поддерживает Qwen35ForConditionalGeneration` с Gated Delta Net.
Модальности:
Генерация текста Мультимодальность
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: GestaltLabs
Теги: gguf, llama.cpp, quantized, qwen3_5, qwen3.6, multimodal, endpoints_compatible, conversational
Лайков: 13 | Загрузок: 4,588
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
