Эти модели создаются и обслуживаются на арендованных графических процессорах. Если вы хотите выразить некоторую признательность, подписка на X или чашечка кофе помогут поддерживать выпуск выпусков. Это 4-битное квантование GPTQ-Pro для deepreinforce-ai/Ornith-1.0-35B. Это артефакт развертывания, а не новая тонкая настройка. Цель состоит в том, чтобы сделать контрольно-пропускной пункт Ornith 35B MoE практичным для GPTQ-совместимого локального и домашнего обслуживания, сохраняя при этом поведение исходной модели, ориентированное на агента кодирования. Целью проверки заголовка для этого выпуска является рабочая нагрузка по созданию текста и агентному кодированию, обслуживающая vLLM + GPTQ-Marlin. Пути просмотра и спекулятивное декодирование не позиционируются как проверенные функции для этого выпуска. — modelcloud/gptqmodel — groxaxo/GPTQ-Pro — groxaxo/Qwen3.6-27B-GPTQ-Pro-4bit Благодаря deepreinforce-ai за выпуск Ornith, modelcloud за GPTQModel и Groxaxo за GPTQ-Pro и семейству рецептов Qwen3.6 GPTQ-Pro, с которым этот прогон был согласован. Исходная конфигурация содержит mtpnumhiddenlayers=1, но загруженный индекс веса не содержит тензоров mtp.*`. Считайте эту контрольную точку не-MTP для спекулятивного декодирования, если только последующий артефакт не восстановит и не проверит реальные тензоры MTP. Конфигурация Vision…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: XReyRobert
Теги: qwen3_5_moe, image-text-to-text, ornith, moe, gptq, gptq-pro, gptqmodel, foem
Лайков: 5 | Загрузок: 9,730
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
