translategemma-4b-it_w8a8_RK3588
Converted TranslateGemma-4b-it model optimized for Rockchip RK3588 NPU using RKLLM-Toolkit v1.2.3. — translategemma-4b-itw8a8RK3588.rkllm` — Converted model for RK3588...
Converted TranslateGemma-4b-it model optimized for Rockchip RK3588 NPU using RKLLM-Toolkit v1.2.3. — translategemma-4b-itw8a8RK3588.rkllm` — Converted model for RK3588...
Большие языковые модели (LLM) произвели революцию в искусственном интеллекте, но их массивная память и вычислительные требования требуют агрессивного...
Научно откалиброванный 4-разрядный GGUF deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием матрицы важности, вычисленной на наборе данных математических рассуждений MetaMathQA. — Q4KM...
This is a 4-bit quantized (GPTQ) version of the GLM-4.6-REAP-268B-A32B model. It is able to run on 8x...
This repository contains the official 4-bit quantized version of the Kimi-Linear-48B model using the SINQ (Sinkhorn-Normalized Quantization) method...
This repository contains the official 4-bit quantized version of the Apertus-8B-2509 model using the calibrated version of SINQ...
> [!IMPORTANT] > This repo is quantized from the updated version of Athene-70B as of the 24th of...
Original Model: facebook/llm-compiler-13b Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3256 IMatrix dataset: here — Files — IMatrix...
Llama.cpp imatrix quantization of OpenLLM-Ro/RoLlama3-8b-Instruct Original Model: OpenLLM-Ro/RoLlama3-8b-Instruct Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3206 IMatrix dataset:...
Оригинальная модель: Qwen/Qwen2-7B-Instruct Оригинальный dtype: BF16 (bfloat16) Quantized by: llama.cpp b3091 IMatrix dataset: here — Files — IMatrix...