Bielik-4.5B-v3.0-Instruct-FP8-Dynamic
Эта модель была получена путем квантования весов и активаций Bielik-4.5B-v3.0-Instruct для типа данных FP8, готового к выводу с...
Метка: 8bit
gpt-j-8bit-daily_dialogues
Эта версия hivemind/gpt-j-6B-8bit точно настроена на проанализированную версию набора данных ежедневных диалогов для эпохи. Его можно использовать как...
gemma-4-31B-it-qat-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
gemma-4-e2b-it-qat-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
Darwin-36B-Opus-mlx-text-only-8bit
Этот репозиторий содержит текстовую 8-битную MLX-конверсию FINAL-Bench/Darwin-36B-Opus. Модель была преобразована с помощью mlx-lm и предназначена для эффективного вывода...
Bielik-11B-v3.0-Instruct-FP8-Dynamic
Эта модель была получена путем квантования весов и активаций Bielik-11B-v3.0-Instruct для типа данных FP8, готового к выводу с...
DeepSeek-Coder-V2-Instruct-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
gemma-4-e4b-it-qat-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
gemma-4-31B-it-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
Gemmasutra_LiteRT-LM
Эта модель представляет собой преобразованную версию TheDrummer/Gemmasutra-Mini-2B-v1, оптимизированную для вывода на устройстве с использованием LiteRT (ранее TensorFlow Lite)....