DLM-2.0-14B-FP8
This is an FP8-quantized version of dnotitia/DNA-2.0-14B, optimized for efficient inference by DLM (Data Science Lab., Ltd.). FP8...
Метка: llmcompressor
Qwen3-Next-80B-A3B-Instruct-quantized.w4a16
— Model Architecture: Qwen3NextForCausalLM — Input: Text — Output: Text — Model Optimizations: — Weight quantization: INT4 —...
Seed-OSS-36B-Instruct-NVFP4
Этот репозиторий содержит Seed-OSS-36B-Instruct, квантованный с помощью NVFP4, подходящий для максимальной производительности на оборудовании Nvidia Blackwell (5070, 5080,...
Devstral-Small-2507-FP8-Dynamic
— Model Architecture: MistralForCausalLM — Input: Text — Output: Text — Model Optimizations: — Activation quantization: FP8 —...
Qwen3-14B-FP8-dynamic
— Model Architecture: Qwen3ForCausalLM — Input: Text — Output: Text — Model Optimizations: — Activation quantization: FP8 —...
Qwen3-4B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Вход: Текст — Выход: Текст — Оптимизация модели: — Квантование веса: INT4 —...
Qwen2.5-1.5B-quantized.w8a8
— Model Architecture: Qwen2 — Input: Text — Output: Text — Model Optimizations: — Activation quantization: INT8 —...
Llama-3.2-1B-Instruct-FP8
— Архитектура модели: Llama-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
Qwen3-8B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
DeepSeek-R1-Distill-Qwen-7B-quantized.w8a8
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...