Метка: quantization - Страница 11 - Каталог нейросетей

Метка: quantization

Генерация текста

legraphista/c4ai-command-r-plus-08-2024-IMat-GGUF

Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...

Генерация текста

legraphista/DeepSeek-Coder-V2-Instruct-IMat-GGUF

Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...

Генерация текста

BioMistral/BioMistral-7B-AWQ-QGS128-W4-GEMM

В последние годы модели большого языка (LLM) продемонстрировали замечательную универсальность, предлагая потенциальные приложения в специализированных областях, таких как...

Генерация текста

SuperPauly/Gemmasutra_LiteRT-LM

Эта модель представляет собой преобразованную версию TheDrummer/Gemmasutra-Mini-2B-v1, оптимизированную для вывода на устройстве с использованием LiteRT (ранее TensorFlow Lite)....

Генерация текста

huawei-csl/Qwen3-32B-4bit-SINQ

Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-32B с использованием метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это...

Генерация текста

huawei-csl/Qwen3-1.7B-3bit-ASINQ

Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-1.7B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...