llama-3-8b-quantized
В этом репозитории размещена 4-битная квантованная версия модели Llama 3. Эта модель, оптимизированная для сокращения использования памяти и...
В этом репозитории размещена 4-битная квантованная версия модели Llama 3. Эта модель, оптимизированная для сокращения использования памяти и...
Квантованная версия Int4 AutoRound TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2. — Базовая модель: TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 — Квантование: симметричное INT4, размер группы = 128 (W4A16)...
Квантование FP4 смешанной точности Darwin-9B-Opus, построенное на базе NVIDIA Blackwell NVFP4. Первый член семейства Darwin Mixed-Precision — квантование,...
Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...
Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой,...
GGUF 4-битное преобразование huihui-ai/Huihui-Qwen3.5-27B-Claude-4.6-Opus-abliterated. Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: Sepolian Теги: gguf, quantization,...
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: qep Теги: cohere2, quantization, onebit,...
> [!ВНИМАНИЕ] > Внимание! > Эта модель еще не поддерживается должным образом в llama.cpp и не будет работать....
Этот репозиторий был перенесен на https://huggingface.co/nunchaku-tech/nunchaku-t5 и будет скрыт в декабре 2025 года. Этот репозиторий содержит квантованные нунчаку...
Исходная модель: google/gemma-2-27b-it Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3790 Набор данных IMatrix: здесь — Файлы —...