Эта модель предоставляет несколько вариантов google/Gemma-2-2B-IT, готовых к развертыванию на Android с использованием стека LiteRT (fka TFLite) и API вывода MediaPipe LLM. Отказ от ответственности: целевой поверхностью развертывания для моделей LiteRT является Android/iOS/Web, и стек оптимизирован для производительности на этих целях. Опробовать систему в Colab — это более простой способ ознакомиться со стеком LiteRT, с оговоркой, что производительность (память и задержка) в Colab может быть намного хуже, чем на локальном устройстве. Чтобы собрать демонстрационное приложение из исходного кода, следуйте инструкциям из репозитория GitHub. Обратите внимание, что вся статистика тестов взята из Samsung S24 Ultra с размером кэша 1280 КВ и несколькими включенными подписями предварительного заполнения. Внутреннее заполнение (токен/сек) Декодирование (токен/сек) Время до первого токена (сек) Память (RSS в МБ) Размер модели (МБ) Dynamic_int8 CPU 134,03 tk/s 10,03 tk/s 5,54 с 6216 МБ 2587 МБ Размер модели: измеряется размером плоского буфера .tflite (формат сериализации) для моделей LiteRT) Память: индикатор пикового использования оперативной памяти. Вывод о процессоре ускоряется с помощью делегата LiteRT XNNPACK с 4 потоками. Тестирование выполняется при условии, что кэш XNNPACK…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: litert-community
Теги: tflite, chat
Лайков: 10 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
