Эта модель представляет собой преобразованную версию TheDrummer/Gemmasutra-Mini-2B-v1, оптимизированную для вывода на устройстве с использованием LiteRT (ранее TensorFlow Lite). Он был квантован до 8-бит, чтобы уменьшить размер и использование памяти, сохраняя при этом производительность, подходящую для мобильных и периферийных устройств. — Исходная модель разработана: TheDrummer — Конвертирована: SuperPauly — Тип модели: Gemma 2 (формат LiteRT / TFLite) — Язык(и) (NLP): английский — Лицензия: Условия использования Gemma (унаследовано от базовой модели) — Квантование: 8-битное (int8) — Исходный репозиторий: TheDrummer/Gemmasutra-Mini-2B-v1 — Базовая модель: google/gemma-2-2b Эта модель предназначена для локальной генерации текста на устройстве в Android, iOS или веб-средах, которые поддерживают среду выполнения вывода LiteRT (TensorFlow Lite) LLM. Например, Edge Gallery из магазина Google Play или загрузите его прямо из репозитория GH здесь: https://github.com/google-ai-edge/gallery. Скомпилированный APK можно найти в разделе «Релизы» здесь: https://github.com/google-ai-edge/gallery/releases. Эта модель не предназначена для стандартного вывода PyTorch/Transformers. — Из-за характера исходной модели (фокус NSFW/ролевая игра) она не подходит для помощника общего назначения…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SuperPauly
Теги: litert, not-for-all-audiences, tflite, on-device, android, 8bit, quantization, en
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
