Эта модель предоставляет несколько вариантов microsoft/Phi-4-mini-instruct, готовых к развертыванию на Android с использованием стека LiteRT (fka TFLite), API-интерфейса вывода MediaPipe LLM и LiteRT-LM. Отказ от ответственности: целевой поверхностью развертывания для моделей LiteRT является Android/iOS/Web, и стек оптимизирован для производительности на этих целях. Опробовать систему в Colab — это более простой способ ознакомиться со стеком LiteRT, с оговоркой, что производительность (память и задержка) в Colab может быть намного хуже, чем на локальном устройстве. Чтобы собрать демонстрационное приложение из исходного кода, следуйте инструкциям из репозитория GitHub. Обратите внимание, что вся статистика тестов взята из Samsung S24 Ultra с размером кэша 1280 КВ и несколькими включенными подписями предварительного заполнения. Схема внутреннего квантования Длина контекста Предварительное заполнение (токен/сек) Декодирование (токен/сек) Время до первого токена (сек) Размер модели (МБ) Пиковая память RSS (МБ) Память графического процессора (МБ) CPU Dynamicint8 4096 66,53 tk/s 7,28 tk/s 15,90 с 3906 МБ 5308 МБ Н/Д GPU Dynamicint8 4096 314,01 такт/с 10,39 такт/с 10,32 с 3906 МБ 4107 МБ 4608 МБ Размер модели: измеряется размером плоского буфера .tflite (формат сериализации для моделей LiteRT) Память: индикатор…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, tflite, chat
Лайков: 15 | Загрузок: 4,114
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
