ct2fast-mpt-30b-chat
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
Метка: float16
ct2fast-gpt_bigcode-santacoder
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
codegen2-1B-gptj
It feels like GPT-J, acts like any other GPT-J, but its Codegen-2 weights under the hood. Licence conditions...
ct2fast-Llama-2-7b-hf
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
ct2fast-mpt-30b
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
ct2fast-falcon-7b-sft-top1-696
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
ct2fast-Llama-2-13b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-Llama-2-7b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-mpt-30b-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-open-llama-7b-open-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...