— Архитектура модели: gemma-3n-E4B-it — Вход: Audio-Vision-Text — Выход: Текст — Оптимизация модели: — Квантование веса: FP8 — Квантование активации: FP8 — Дата выпуска: 01.08.2025 — Версия: 1.0 — Проверено на: RHOAI 2.24, RHAIIS 3.2.1 — Разработчики модели: RedHatAI — ModelCar Storage URI: oci://registry.redhat.io/rhelai1/modelcar-gemma-3n-e4b-it-fp8-dynamic:1.5 — Проверено на RHOAI 2.24: quay.io/modh/vllm: rhoai-2.24-cuda — Проверено на RHAIIS 3.2.1: http://registry.red vLLM также поддерживает OpenAI-совместимые сервисы. Подробнее — в документации. Эта модель была создана с помощью llm-compressor путем запуска фрагмента кода ниже. Модель была оценена с использованием lmevaluationharness для текстовых тестов OpenLLM V1 и V2. Оценки проводились с использованием следующих команд: Category Metric google/gemma-3n-E4B-it FP8 Dynamic Recovery (%) OpenLLM V1 arcchallenge 60.24 59.04…
Модальности:
Генерация текста Распознавание речи Мультимодальность
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: gemma3n, gemma, gemma3, fp8, quantized, multimodal, conversational, text-generation-inference
Лайков: 4 | Загрузок: 310
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
