Эта модель предоставляет несколько вариантов HuggingFaceTB/SmolLM-135M-Instruct, готовых к развертыванию на Android с использованием стека LiteRT (fka TFLite) и API вывода MediaPipe LLM. Отказ от ответственности: целевой поверхностью развертывания для моделей LiteRT является Android/iOS/Web, и стек оптимизирован для производительности на этих целях. Опробовать систему в Colab — это более простой способ ознакомиться со стеком LiteRT, с оговоркой, что производительность (память и задержка) в Colab может быть намного хуже, чем на локальном устройстве. Чтобы собрать демонстрационное приложение из исходного кода, следуйте инструкциям из репозитория GitHub. Обратите внимание, что вся статистика тестов взята из Samsung S24 Ultra с размером кэша 1280 КВ и несколькими включенными подписями предварительного заполнения. Длина внутреннего контекста Предварительное заполнение (токен/сек) Декодирование (токен/сек) Время до первого токена (сек) Память (RSS в МБ) Размер модели (МБ) fp32 (базовый уровень) ЦП 1280 498,05 ТК/с 47,96 ТК/с 0,78 с 931 МБ 527 МБ Dynamic_int8 ЦП 1280 1084,75 транзакций/с 43,50 транзакций/с 0,46 с 579 МБ 159 МБ Размер модели: измеряется по размеру плоского буфера .tflite (формат сериализации для моделей LiteRT) Память: индикатор пикового использования оперативной памяти. Вывод о ЦП:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, tflite, chat
Лайков: 10 | Загрузок: 1,286
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
