gpt-j-6B-tensorrt-int8
GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу...
Метка: int8
Qwen3-Coder-30B-A3B-Instruct-GPTQ-Int8
Qwen3-Coder доступен в нескольких размерах. Сегодня мы рады представить Qwen3-Coder-30B-A3B-Instruct. Эта оптимизированная модель обеспечивает впечатляющую производительность и эффективность,...
Qwen3-30B-A3B-Instruct-2507-GPTQ-Int8
Мы представляем обновленную версию режима без мышления Qwen3-30B-A3B под названием Qwen3-30B-A3B-Instruct-2507, включающую следующие ключевые улучшения: — Значительные улучшения...
gpt-j-6B-int8-static-inc
GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу...
Qwen3.5-35B-A3B-Darwin-Opus-NOESIS-AWQ-INT8
Пользовательское квантование INT8 в стиле AWQ для FINAL-Bench/Darwin-35B-A3B-Opus, преобразованное из Q80 GGUF. Более высокое качество, чем INT4 —...
Meta-Llama-3.1-8B-Instruct-quantized.w8a16
— Архитектура модели: Meta-Llama-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
eva-mistral-dolphin-7b-spanish
Модель на базе Mistral 7b доработана на испанском языке для обеспечения высококачественной генерации текста на испанском языке. Базовая...
DeepSeek-R1-Distill-Qwen-32B-quantized.w8a8
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
Llama-3.3-70B-Instruct-quantized.w8a8
— Архитектура модели: Llama — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
ct2fast-starcoder
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...