Llama-2-7b-ft-instruct-es-gptq-4bit
Llama 2 (7B) настроен на основе набора данных испанских инструкций Clibrain и оптимизирован с использованием GPTQ. Llama 2...
Llama 2 (7B) настроен на основе набора данных испанских инструкций Clibrain и оптимизирован с использованием GPTQ. Llama 2...
Квантование смешанной точности с совместной экспертной обрезкой. Подходит для MoE с параметром 228 B в 90 ГБ на...
Пользовательское квантование INT8 в стиле AWQ для FINAL-Bench/Darwin-35B-A3B-Opus, преобразованное из Q80 GGUF. Более высокое качество, чем INT4 —...
— Содержание — Обзор модели — Разрядность модели — Начало работы — Цитирование — Базовая модель: Qwen/Qwen3-1.7B —...
Этот репозиторий предоставляет высокоточные квантованные версии модели Qwen3-Coder-REAP-25B-A3B с пользовательской матрицей важности, созданной Em-80 и специально оптимизированной для...
Llama-3.2-Taiwan-3B-Instruct-GGUF 是 Llama-3.2-Taiwan-3B-Instruct 透過 llama.cpp 轉換之 .gguf Загрузите файл llama.cpp, Ollama, LM Studio.等推論工具中部署,適合本機端使用。 > ⚠️ 規格重點: > 本模型為...
Пользовательское квантование INT4 в стиле AWQ для FINAL-Bench/Darwin-35B-A3B-Opus, преобразованное из Q80 GGUF, оптимизированное для машин с ограниченным объемом...
> [!NOTE] > Если вы ищете кванты до версии llama.cpp PR #8676, вы можете найти их здесь, в...
Специализированная модель большого языка, оптимизированная для задач управления проектами, с интеграцией искусственного интеллекта Microsoft Olive для эффективного развертывания...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор...