Sariel00/Ling-3.0-tiny-RKNN

这是面向 RK3588/RK3588S 的 Ling-3.0-tiny 专用推理引擎和 W4A8/W8A8 转换模型。 本仓库同时提供 C++ 源码、转换工具、校准数据、测试报告和可选的 .l3r 部署模型。 引擎使用 A76 CPU 和三核 RKNPU，提供终端对话与 OpenAI 兼容的 Chat Completions 接口。 推理不依赖 RKLLM、llama.cpp 或 Python 服务。模型为纯文本 MoE，约 7.9B 总参数、每 token 约 1.3B 激活参数，当前未启用 MTP。 本项目把 Ling-3.0-tiny 转换为 RK3588/RK3588S 可运行的专用 C++ 推理程序。模型是纯文本 MoE；权重采用 W4A8/W8A8 混合量化，推理由 A76 CPU 与 RKNPU 协同完成。程序提供终端模式和 OpenAI 风格的 Chat Completions HTTP 接口。公开源码使用设备上从 Rockchip 官方仓库安装的 RKNPU2 runtime，不需要 Python、RKLLM 或 llama.c

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Sariel00
Теги: ling3rknn, rk3588, rknn, edge-inference, custom-format, zh
Лайков: 3  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.