DeepSeek-R1-Distill-Qwen-32B-gptq-4bit
Оптимизированная для предметной области модель рассуждения, построенная на основе DeepSeek-R1-Distill-Qwen-32B, усовершенствованная с помощью многоэтапного конвейера обучения с учетом...
Метка: quantized
Llama-3.1-Minitron-4B-Width-Base-GGUF
Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...
calme-2.1-qwen2-72b-GGUF
GGUF и квантовые модели здесь основаны на модели MaziyarPanahi/calme-2.1-qwen2-72b. Вы можете загрузить только те кванты, которые вам нужны,...
Codestral-22B-v0.1-IMat-GGUF
Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой,...
Llama-3-8B-Instruct-64k-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Llama-3-8B-Instruct-64k MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/Llama-3-8B-Instruct-64k. GGUF —...
Mixtral-8x22B-Instruct-v0.1-AWQ
MaziyarPanahi/Mixtral-8x22B-Instruct-v0.1-AWQ — это квантованная (AWQ) версия mistralai/Mixtral-8x22B-Instruct-v0.1 Модальности:Генерация текста Области применения:Диалог / чат Следование инструкциям Задача: Генерация текста...
WizardLM-2-8x22B-AWQ
MaziyarPanahi/home-AWQ — это квантованная (AWQ) версия microsoft/WizardLM-2-8x22B. Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: MaziyarPanahi...
EndlessRP-v3-7B-GGUF-Imatrix
Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. Imatrix рассчитывается на основе данных...
phi-2-uncensored-GGUF
Квантованные файлы моделей GGUF для фи-2 без цензуры из Walmart-the-bag Модальности:Генерация текста Задача: Генерация текста Автор: afrideva Теги:...
Qwopus-GLM-18B-Healed-MLX-4bit
Apple Silicon/MLX 4-битное квантование залеченного франкенмерджа Qwopus-GLM-18B. Готов к работе на Mac с платформой MLX через mlx-lm. —...