— Архитектура модели: Meta-Llama-3.1 — Ввод: Текст / Изображение — Вывод: Текст — Оптимизация модели: — Квантование веса: FP4 — Квантование активации: FP4 — Варианты предполагаемого использования: Предназначен для коммерческого и исследовательского использования на нескольких языках. — Вне сферы применения: использование любым способом, нарушающим применимые законы или правила (включая законы о соблюдении торговых норм). Использование на языках, отличных от английского. — Дата выпуска: 15.07.25 — Версия: 1.0 — Лицензия(и): llama3.1 — Разработчики моделей: RedHatAI Эта модель является квантованной версией Llama-4-Scout-17B-16E-Instruct. Он оценивался по нескольким задачам для оценки его качества по сравнению с некватизированной моделью. Эта модель была получена путем квантования весов и активаций типа данных Llama-4-Scout-17B-16E-Instruct to FP4, готового к выводу с vLLM >=0.9.1 Эта оптимизация уменьшает количество битов на параметр с 16 до 4, уменьшая размер диска и требования к памяти GPU примерно на 75%. Только веса линейных операторов в блоках трансформаторов квантуются с помощью компрессора LLM. Эта модель может быть эффективно развернута с использованием бэкенда vLLM, как показано в примере ниже. Код использования модели vLLM aslo поддерживает…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: llama4, fp4, vllm, conversational, en, de, fr, it
Лайков: 3 | Загрузок: 681
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
