Эта модель предоставляет несколько вариантов Qwen/Qwen2.5-0.5B-Instruct, готовых к развертыванию на Android с использованием стека LiteRT (fka TFLite) и API вывода MediaPipe LLM. Отказ от ответственности: целевой поверхностью развертывания для моделей LiteRT является Android/iOS/Web, и стек оптимизирован для производительности на этих целях. Опробовать систему в Colab — это более простой способ ознакомиться со стеком LiteRT, с оговоркой, что производительность (память и задержка) в Colab может быть намного хуже, чем на локальном устройстве. Чтобы собрать демонстрационное приложение из исходного кода, следуйте инструкциям из репозитория GitHub. Обратите внимание, что вся статистика тестов взята из Samsung S24 Ultra с размером кэша 1280 КВ и несколькими включенными подписями предварительного заполнения. Предварительное заполнение серверной части (токен/сек) Декодирование (токен/сек) Время до первого токена (сек) Память (RSS в МБ) Размер модели (МБ) fp32 (базовый уровень) ЦП 90,30 тк/с 16,71 тк/с 5,24 с 4503 МБ 1898 МБ Dynamic_int8 ЦП 250,73 тк/с 29,97 транзакций/с 2,31 с 1363 МБ 521 МБ Размер модели: измеряется размером плоского буфера .tflite (формат сериализации для моделей LiteRT) Память: индикатор пикового использования ОЗУ Вывод о ЦП ускоряется с помощью LiteRT XNNPACK…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, tflite, chat
Лайков: 6 | Загрузок: 15,470
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
