ct2fast-open-llama-7b-open-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
Метка: int8
gpt2-tensorrt
Этот репозиторий содержит модели GPT2 onnx, совместимые с TensorRT: gpt2-xl.onnx — GPT2-XL onnx для движков fp32 или fp16...
QwQ-32B-INT8-W8A8
— Архитектура модели: трансформаторы с RoPE, SwiGLU, RMSNorm и вниманием QKV смещением — Входные данные: текст — Выходные...
DeepSeek-R1-Distill-Qwen-7B-quantized.w8a8
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
Meta-Llama-3.1-8B-quantized.w8a8
— Архитектура модели: Meta-Llama-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
gpt-j-6B-tensorrt-int8
GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу...
Qwen3-Coder-30B-A3B-Instruct-GPTQ-Int8
Qwen3-Coder доступен в нескольких размерах. Сегодня мы рады представить Qwen3-Coder-30B-A3B-Instruct. Эта оптимизированная модель обеспечивает впечатляющую производительность и эффективность,...
Qwen3-30B-A3B-Instruct-2507-GPTQ-Int8
Мы представляем обновленную версию режима без мышления Qwen3-30B-A3B под названием Qwen3-30B-A3B-Instruct-2507, включающую следующие ключевые улучшения: — Значительные улучшения...
gpt-j-6B-int8-static-inc
GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу...
Qwen3.5-35B-A3B-Darwin-Opus-NOESIS-AWQ-INT8
Пользовательское квантование INT8 в стиле AWQ для FINAL-Bench/Darwin-35B-A3B-Opus, преобразованное из Q80 GGUF. Более высокое качество, чем INT4 —...