eva-dolphin-llama3-8b-spanish
Модель на базе Llama3 8b, доработанная на испанском языке для создания высококачественного испанского текста. Базовая модель Llama3-8b Генерирует...
Метка: int8
ct2fast-Llama-2-13b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-Llama-2-7b-chat-hf
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-mpt-30b-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
ct2fast-open-llama-7b-open-instruct
Ускорьте вывод, одновременно уменьшив объем памяти в 2–4 раза, используя вывод int8 в C++ на ЦП или графическом...
gpt2-tensorrt
Этот репозиторий содержит модели GPT2 onnx, совместимые с TensorRT: gpt2-xl.onnx — GPT2-XL onnx для движков fp32 или fp16...
QwQ-32B-INT8-W8A8
— Архитектура модели: трансформаторы с RoPE, SwiGLU, RMSNorm и вниманием QKV смещением — Входные данные: текст — Выходные...
DeepSeek-R1-Distill-Qwen-7B-quantized.w8a8
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
Meta-Llama-3.1-8B-quantized.w8a8
— Архитектура модели: Meta-Llama-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
gpt-j-6B-tensorrt-int8
GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу...