Метка: quantization - Страница 15 - Каталог нейросетей

Метка: quantization

Генерация текста

legraphista/glm-4-9b-chat-GGUF

Исходная модель: THUDM/glm-4-9b-chat Исходный тип dtype: BF16 (bfloat16) Квантизация: https://github.com/ggerganov/llama.cpp/pull/6999 Набор данных IMatrix: здесь — Файлы — Общие...

Генерация текста

nunchaku-ai/nunchaku-t5

Этот репозиторий содержит квантованные нунчаку версии T5-XXL, используемые для кодирования текстовых подсказок для встраивания. Он используется для уменьшения...

Генерация текста

legraphista/Mistral-Large-Instruct-2407-IMat-GGUF

Иматричное квантование Llama.cpp для mistralai/Mistral-Large-Instruct-2407 Исходная модель: mistralai/Mistral-Large-Instruct-2407 Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3452 Набор данных...

Генерация текста

nota-ai/Solar-Open-100B-Nota-FP8

Этот репозиторий предоставляет квантованную FP8 версию флагманской модели Upstage — Solar-Open-100B. — Базовая модель: Solar-Open-100B — Квантование: FP8...

Генерация текста

nota-ai/Solar-Open-100B-NotaMoEQuant-Int4

В этом репозитории представлена ​​флагманская модель Upstage, Solar-Open-100B, оснащенная запатентованной технологией квантования Nota AI, специально разработанной для LLM...