— Архитектура модели: Llama-3.1-Nemotron — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование: FP8 — Квантование активации: FP8 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на нескольких языках. Как и «Лама-3.1-Немотрон-70Б-Инструкт», эта модель предназначена для общения в режиме помощника. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). Используйте на языках, отличных от английского. — Дата выпуска: 17.10.2024 — Версия: 1.0 — Проверено на: RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 — Лицензии: llama3.1 — Разработчики модели: Neural Magic Эта модель представляет собой квантованную версию Llama-3.1-Nemotron-70B-Instruct. Он оценивался по нескольким задачам для оценки его качества по сравнению с некваватизированной моделью, включая множественный выбор, математические рассуждения и генерацию открытого текста. Llama-3.1-Nemotron-70B-Instruct-HF-FP8-dynamic достигает 99,41% восстановления для оценки Arena-Hard, 100% для OpenLLM v1 (с использованием подсказок Meta, если они доступны) и ToDo для OpenLLM v2. Эта модель была получена путем квантования весов и активаций Llama-3.1-Nemotron-70B-Instruct в тип данных FP8, готовый к…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, fp8, vllm, conversational, compressed-tensors, text-generation-inference, en
Лайков: 15 | Загрузок: 187
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
