ct2fast-Llama-2-7b-hf
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
Метка: int8
ct2fast-mpt-30b
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
ct2fast-falcon-7b-sft-top1-696
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
Qwen3-4B-INT8-ConvRot-ComfyUI
This repository provides an INT8-ConvRot quantized version of the Qwen3-4B model. It has been specifically tailored for use...
keys-latest-GLM-5.2-Quantrio-INT4-INT8-Mixed-Abliterated-DFlash
Canonical one-package weights for 4× DGX Spark. Repo id: drowzeys/keys-latest-GLM-5.2-Quantrio-INT4-INT8-Mixed-Abliterated-DFlash > Gated access. Safety refusals have been removed....
Qwen3-32B-GPTQ-Int8
Эта модель квантуется до 8 бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая...
eva-dolphin-llama3-8b-spanish
Модель на базе Llama3 8b, доработанная на испанском языке для создания высококачественного испанского текста. Базовая модель Llama3-8b Генерирует...
ct2fast-Llama-2-13b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-Llama-2-7b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-mpt-30b-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...