Это текстовое квантование oMLX oQ4 ericpandev/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-bf16. — Квантизатор: oMLX oQ — Уровень: oQ4 — Размер группы: 64 — Неквантованный/масштабируемый тип dtype: bfloat16 — Размер вывода: около 19 ГБ — Веса Vision: опущены — Собственный MTP: отключен Исходная контрольная точка представляет собой преобразование BF16 в стиле VLM. Полный путь чувствительности VLM oMLX не поддерживал эту контрольную точку во время локального квантования, поэтому этот репозиторий содержит только текстовую модель. Собственный MTP также был отключен, поскольку исходный код BF16 не включал mtp. тензоры. Квантованная модель была протестирована с помощью локального oMLX OpenAI-совместимого запроса /v1/chat/completions.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dawncr0w
Теги: mlx, qwen3_5_moe, omlx, qwen3.6, qwen3.5-moe, oq4, conversational, 4-bit
Лайков: 5 | Загрузок: 1,541
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
