phi-1_5-nf4-8bit-doublequant-BNB
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: DaertML Теги: mixformer-sequential, custom_code, 8-bit, bitsandbytesЛайков: 4 | Загрузок:...
Метка: 8-bit
llama-2-7b-weaviate-gorilla
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: substratusai Теги: llama, text-generation-inference, endpoints_compatible, 8-bitЛайков: 4 | Загрузок:...
llama-2-7b-guanaco-8bit-sharded
Модель, настроенная с точностью до 4 бит с использованием QLoRA на timdettmers/openassistant-guanaco и сегментированная для использования в бесплатном...
Ling-3.0-flash-NVFP4
includeAI/Ling-3.0-flash, квантованный до NVFP4 в формате сжатых тензоров, для vLLM и TensorRT-LLM. 76,9 ГБ по 16 шардам. Сборки...
Nanbeige4.2-3B-mlx-8bit
Квантуется до 8 бит на вес, размер группы 64 (4,2 ГБ, эффективная скорость передачи данных 8,5). Преобразован из...
DeepSeek-V4-Flash-Lite
Количество экспертов уменьшено с 256 до 192. MTP на данный момент не поддерживается. Базовый проверочный тест для версии,...
Qwen3.6-35B-A3B-MLX-VL-oQ8
Эта модель была преобразована в формат MLX и квантована из Qwen3.6-35B-A3B с использованием oMLX. «VL» — это язык...
DeepSeek-V4-Pro
Эта 8-битная модель mlx-community/DeepSeek-V4-Pro была конвертирована в формат MLX из deepseek-ai/DeepSeek-V4-Pro. DeepSeek-V4-Pro — это модель Mixture-of-Experts с общим...
Qwen3.6-35B-A3B-MLX-oQ8-FP16
Эта модель была преобразована в формат MLX и квантована из Qwen3.6-35B-A3B с использованием oMLX. «VL» — это язык...
Qwen3.6-35B-A3B-oQ8
— Квантование: oQ8 (смешанная точность, управляемая чувствительностью, размер группы = 64) — Формат: MLX Safetensors — Совместимость с:**...