— Архитектура модели: Pixtral (Llava) — Входные данные: текст/изображение — Выходные данные: текст — Оптимизация модели: — Весовое квантование: FP8 — Квантование активации: FP8 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на нескольких языках. Как и Mistralai/Pixtral-12B-2409, эта модель предназначена для общения в режиме ассистента. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). Используйте на языках, отличных от английского. — Дата выпуска: 1.11.2024 — Версия: 1.0 — Лицензии: Apache 2.0 — Разработчики модели: Neural Magic Эта модель была получена путем квантования весов и активаций mistral-community/pixtral-12b в тип данных FP8, готовых для вывода с помощью vLLM, созданного из исходного кода. Эта оптимизация уменьшает количество бит на параметр с 16 до 8, уменьшая размер диска и требования к памяти графического процессора примерно на 50%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей. Применяется симметричное поканальное квантование, при котором линейное масштабирование для каждого выходного измерения отображает представления FP8 квантованных весов и активаций. Активации также квантуются для каждого токена…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: vllm, llava, fp8, conversational, en, de, fr, it
Лайков: 10 | Загрузок: 10,205
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
