На этой карточке модели представлена модель Mobile Actions, готовая к развертыванию в приложении Google AI Edge Gallery. Gemma — это семейство легких современных открытых моделей от Google, созданных на основе тех же исследований и технологий, которые использовались при создании моделей Gemini. Эта конкретная модель Gemma особенно мала, поэтому идеально подходит для использования на устройстве. Запустив эту модель на устройстве, пользователи могут получить частный доступ к технологии генеративного искусственного интеллекта, даже не требуя подключения к Интернету. Модель Mobile Actions — это усовершенствованная версия google/functiongemma-270m-it. Чтобы опробовать Mobile Actions, загрузите приложение Google AI Edge Gallery на свой телефон, откройте панель Mobile Actions и нажмите кнопку загрузки. Проведено тестирование на S25 Ultra с 512 токенами предварительного заполнения и 256 токенами декодирования. Схема внутреннего квантования Длина контекста Предварительное заполнение (токен/сек) Декодирование (токен/сек) Время до первого токена Размер модели (МБ) Пиковая память RSS (МБ) ЦП Dynamic_int8 1024 2238 tk/s 154,2 tk/s 0,24 с 289 МБ 510 МБ Примечания. Размер модели: измеряется по размеру файла на диске. Вывод о процессоре ускоряется с помощью делегата LiteRT XNNPACK с 4 потоками * Тестирование запускается с включенным и инициализированным кэшем. Во время…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, gemma3, gemma, functiongemma
Лайков: 29 | Загрузок: 251
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
