— Архитектура модели: Meta-Llama-3.1 — Входные данные: текст/изображение — Выходные данные: текст — Оптимизация модели: — Весовое квантование: FP4 — Квантование активации: FP4 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на нескольких языках. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). Используйте на языках, отличных от английского. — Дата выпуска: 29.10.25 — Версия: 1.0 — Лицензия(и): llama3.1 — Разработчики модели: RedHatAI Эта модель представляет собой квантованную версию Llama-4-Maverick-17B-128E-Instruct. Она была оценена по нескольким задачам для оценки ее качества по сравнению с неквалифицированной моделью. Эта модель была получена путем квантования весов и активаций Llama-4-Maverick-17B-128E-Instruct в тип данных FP4, готовый к выводу с vLLM>=0,9.1. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Только веса линейных операторов внутри блоков преобразователей квантуются с помощью LLM Compressor. Эту модель можно эффективно развернуть с помощью серверной части vLLM, как показано в примере ниже. Код использования модели vLLM также поддерживает…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: llama4, fp4, vllm, conversational, en, de, fr, it
Лайков: 6 | Загрузок: 456
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
