Коллекция LLM, совместимых с чипами Rockchip, с использованием их набора инструментов rkllm. Этот репозиторий содержит преобразованные модели для работы на NPU RK3588, найденные в SBC, таких как Orange Pi 5, NanoPi R6 и Radxa Rock 5. Проверьте основной репозиторий на GitHub, чтобы узнать, как установить и использовать: https://github.com/Pelochus/ezrknpu. Перед запуском любого LLM учтите, что требуемая оперативная память в 1,5–3 раза превышает размер модели (это оценка, тщательное тестирование еще не проводилось). Llama 2 была преобразована с использованием серверов Azure. Для справки, преобразование Phi-2 достигло максимума около 15 ГБ ОЗУ + 25 ГБ подкачки (с учетом ОС, но при этом использовалось максимум около 2 ГБ). Конвертация Llama 2 7B достигла пика около 32 ГБ ОЗУ + 50 ГБ подкачки. Если первое клонирование вызывает у вас проблемы (занимает слишком много времени), вы также можете: А затем «git lfs pull» внутри клонированной папки, чтобы загрузить полную модель. RK3588 поддерживает только квантование w8a8, поэтому оно было выбрано для ВСЕХ моделей. Кроме того, инструментарий RKLLM допускает неоптимизацию (0) и оптимизацию (1). Все модели оптимизированы. — [x] Преобразование других совместимых LLM — [ ] Добавление других совместимых SoC Rockchip — Моя вилка для rknn-llm:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Pelochus
Теги: rkllm, rockchip, rk3588, text-generation-inference
Лайков: 21 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
