crimsonmythos/translategemma-4b-it_w8a8_RK3588

Converted TranslateGemma-4b-it model optimized for Rockchip RK3588 NPU using RKLLM-Toolkit v1.2.3. — translategemma-4b-itw8a8RK3588.rkllm` — Converted model for RK3588 NPU — RK3588 or RK3588S SoC (Orange Pi 5, Orange Pi 5 Plus, etc.) — RKLLM Runtime v1.2.3+ — 16GB RAM (minimum 12GB) — Ubuntu/Armbian Linux OS — Prefill: 200-300 tokens/sec — Decode: 20-50 tokens/sec — Hardware: Orange Pi 5 Pro (RK3588S, 16GB RAM) — Model: TranslateGemma (Apache 2.0) by Google — Conversion: RKLLM (GPL 3.0) — RKLLM: https://github.com/airockchip/rknn-llm — RKLLama: https://github.com/NotPunchn

Модальности:
Генерация текста

Области применения:
Мультиязычность Перевод

Задача: Генерация текста
Автор: crimsonmythos
Теги: rkllm, rk3588, npu, quantization, w8a8, translation, multilingual, en
Лайков: 3  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.