Метка: llmcompressor - Страница 3 - Каталог нейросетей

Метка: llmcompressor

Генерация текста

RedHatAI/DeepSeek-R1-quantized.w4a16

— Архитектура модели: DeepseekV3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...

Генерация текста

RedHatAI/Kimi-K2-Instruct-quantized.w4a16

— Архитектура модели: смесь экспертов (MoE) — Входные данные: текст/изображение — Выходные данные: текст — Оптимизация модели: —...

Генерация текста

RedHatAI/Qwen3-32B-quantized.w4a16

— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...

Генерация текста

RedHatAI/DeepSeek-R1-0528-quantized.w4a16

— Архитектура модели: DeepseekV3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...

Генерация текста

RedHatAI/Qwen3-32B-FP8-dynamic

— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...

Генерация текста

GadflyII/Qwen3-Coder-Next-NVFP4

Успешно протестировано до 128 КБ токенов с кешем FP8 KV (недостаточно видеопамяти для тестирования более высокого контекста). Требуется...