Alpie-Core
— 32B модель рассуждения, обученная и обслуживаемая при 4-битном квантовании — Конкуренция с GPT-4o / Claude 3.5 Sonnet...
— 32B модель рассуждения, обученная и обслуживаемая при 4-битном квантовании — Конкуренция с GPT-4o / Claude 3.5 Sonnet...
Это версия hivemind/gpt-j-6B-8bit для загрузки с низким объемом оперативной памяти, т. е. бесплатная среда выполнения Colab 🙂 Для...
Динамическое квантование PRISM (PRISM-DQ) применяет распределение битов по классам тензоров на основе анализа структурных весов — не требуются...
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-32B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). Этот...
>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...
Исходная модель: THUDM/codegeex4-all-9b Исходный тип dtype: BF16 (bfloat16) Квантизация: https://github.com/ggerganov/llama.cpp/pull/8031 Набор данных IMatrix: здесь — Файлы — IMatrix...
Исходная модель: bosonai/Higgs-Llama-3-70B Исходный тип dtype: FP32 (float32) Квантизация: llama.cpp b3091 Набор данных IMatrix: здесь — Файлы —...
> ⚠ Экспериментальная проверка концепции — предупреждение о качестве > > Эта контрольная точка была создана в качестве...
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: qihoo360 Теги: gguf, quantization, endpoints_compatible,...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...