Эта модель предоставляет несколько вариантов Qwen/Qwen2.5-1.5B-Instruct, готовых к развертыванию на Android с использованием стека LiteRT (fka TFLite), MediaPipe LLM Inference API и LiteRT-LM. Отказ от ответственности: целевой поверхностью развертывания для моделей LiteRT является Android/iOS/Web, и стек оптимизирован для производительности на этих целях. Опробовать систему в Colab — это более простой способ ознакомиться со стеком LiteRT, с оговоркой, что производительность (память и задержка) в Colab может быть намного хуже, чем на локальном устройстве. Чтобы собрать демонстрационное приложение из исходного кода, следуйте инструкциям из репозитория GitHub. Клонируйте репозиторий примеров MediaPipe и следуйте инструкциям по созданию примера приложения LLM Inference для iOS с помощью XCode. Запустите приложение через симулятор iOS или разверните его на устройстве iOS. Обратите внимание, что вся статистика тестов взята из Samsung S25 Ultra и включено несколько подписей предварительного заполнения. Схема внутреннего квантования Длина контекста Предварительное заполнение (токен/сек) Декодирование (токен/сек) Время до первого токена (сек) Размер модели (МБ) Пиковая память RSS (МБ) Память графического процессора (RSS в МБ) CPU fp32 (базовый уровень) 1280 49,50 10 tk/s 21,25 с 6182 МБ 6254 МБ Н/Д 🔗 Процессор Dynamicint8 1280…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, tflite, chat
Лайков: 37 | Загрузок: 27,667
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
