Эта модель предоставляет несколько вариантов TranslateGemma 4B, готовых к развертыванию в Интернете с использованием API вывода MediaPipe LLM. Дополнительную информацию см. в google/translategemma-4b-it. * Примите лицензию Gemma в своей учетной записи HuggingFace и опробуйте модель в демонстрационном пространстве MediaPipe Web Gemma HuggingFace Space. Чтобы добавить модель в свое веб-приложение, следуйте инструкциям в нашей документации. MediaPipe Web LLM Inference не применяет шаблоны подсказок модели автоматически, поэтому для обеспечения наилучшего поведения обязательно следуйте шаблону, специфичному для модели, в своих подсказках. Например, для перевода с чешского (cs) на английский (en) вы можете использовать следующую подсказку: Обратите внимание, что все статистические данные взяты из MacBook Pro 2024 года (чип Apple M4 Max) с размером кэша 1280 КВ, предварительным заполнением 1024 токенов и декодированием 256 токенов, работающим в Chrome. Precision Backend Предварительное заполнение (токенов/сек) Декодирование (токенов/сек) Время до первого токена (сек) Память графического процессора Память ЦП Размер модели F16 int8 Графический процессор 1205 тк/с 40 тк/с 2,17 с 4,5 ГБ 0,79 ГБ 3,9 ГБ 🔗 F32 int8 GPU 718 ТК/с 39 ТК/с 2,06 с 4,8 ГБ 0,79 ГБ 3,9 ГБ 🔗 Размер модели: измеряется размером плоского буфера .tflite (формат сериализации для моделей LiteRT). int8: квантовано…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: litert-community
Теги: chat
Лайков: 12 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
