Метка: quantization - Страница 12 - Каталог нейросетей

Метка: quantization

Генерация текста

169Pi/Alpie-Core

— 32B модель рассуждения, обученная и обслуживаемая при 4-битном квантовании — Конкуренция с GPT-4o / Claude 3.5 Sonnet...

Генерация текста

ethzanalytics/gpt-j-6B-8bit-sharded

Это версия hivemind/gpt-j-6B-8bit для загрузки с низким объемом оперативной памяти, т. е. бесплатная среда выполнения Colab 🙂 Для...

Генерация текста

Ex0bit/Qwen3.5-PRISM-Dynamic-Quant-GGUF

Динамическое квантование PRISM (PRISM-DQ) применяет распределение битов по классам тензоров на основе анализа структурных весов — не требуются...

Генерация текста

huawei-csl/Qwen3-32B-4bit-ASINQ

Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-32B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). Этот...

Генерация текста

legraphista/Reflection-Llama-3.1-70B-IMat-GGUF

>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...

Генерация текста

legraphista/codegeex4-all-9b-IMat-GGUF

Исходная модель: THUDM/codegeex4-all-9b Исходный тип dtype: BF16 (bfloat16) Квантизация: https://github.com/ggerganov/llama.cpp/pull/8031 Набор данных IMatrix: здесь — Файлы — IMatrix...

Генерация текста

qihoo360/Light-R1-14B-DS-GGUF

Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: qihoo360 Теги: gguf, quantization, endpoints_compatible,...

Генерация текста

legraphista/DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF

Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...