IQuest-Coder-V1-40B-Loop-Instruct-NVFP4
В этом репозитории размещен официально оптимизированный для NVFP4 дистрибутив IQuest-Loop-Coder. Используя 4-битный формат с плавающей запятой NVIDIA (NVFP4),...
Метка: vllm
GLM-4.7_Compressed-Tensors
В этом репозитории представлены квантованные сборки zai-org/GLM-4.7 (модель Mixture-of-Experts), переупакованные для vLLM с использованием формата сжатых тензоров. >...
RnJ-1-Instruct-FP8
Это квантованная версия EssentialAI/RnJ-1-Instruct FP8, созданная с использованием llmcompressor (Neural Magic). Ключевые преимущества: — Размер модели меньше на...
Hermes-4.3-36B-FP8
Это квантованная версия NousResearch/Hermes-4.3-36B FP8, созданная с использованием llmcompressor (Neural Magic). Основные преимущества: — Размер модели меньше примерно...
GLM-4.6-AWQ
Высокопроизводительное AWQ-квантование ZHIPU AI GLM-4.6 (357B MoE), оптимизированное для вывода vLLM. Это профессионально квантованная 4-битная AWQ-версия Z.ai GLM-4.6,...
GLM-4.6-AWQ
По состоянию на 1 октября 2025 г. создайте новую среду Python и запустите: 👋 Присоединяйтесь к нашему сообществу...
Apertus-8B-Instruct-2509-FP8-dynamic
— Архитектура модели: ApertusForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
gpt-oss-20B-NVFP4A16-BF16
— Архитектура модели: openai/gpt-oss-20b (Mixture of Experts, контекст 128 КБ) — Параметры: 20 миллиардов (квантованные из исходного MXFP4...
gpt-oss-20b-mxfp4-gguf
GGUF Квантованные модели gpt-oss-20b от профессора Ника В. Флора. В целях воспроизводимости исследований. Добро пожаловать в серию gpt-oss,...
DeepSeek-V3.1-AWQ
По состоянию на 27 августа 2025 г. создайте новую среду Python и запустите: DeepSeek-V3.1 — это гибридная модель,...