DeepSeek-R1-0528-quantized.w4a16
— Архитектура модели: DeepseekV3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
Метка: llmcompressor
DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
Qwen3-32B-FP8-dynamic
— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
Qwen3-Coder-Next-NVFP4
Успешно протестировано до 128 КБ токенов с кешем FP8 KV (недостаточно видеопамяти для тестирования более высокого контекста). Требуется...