— Архитектура модели: LlamaForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации: INT8 — Квантование веса: INT8 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на нескольких языках. Как и Meta-Llama-3.1-70B-Instruct, эта модель предназначена для общения в режиме помощника. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). — Дата выпуска: 29.07.2024 — Версия: 1.0 — Лицензии: Llama3.1 — Разработчики модели: Neural Magic Эта модель представляет собой квантованную версию Meta-Llama-3.1-70B-Instruct. Он оценивался по нескольким задачам для оценки его качества по сравнению с некваватизированной моделью, включая множественный выбор, математические рассуждения и генерацию открытого текста. Meta-Llama-3.1-70B-Instruct-quantized.w8a8 достигает 98,8% восстановления для оценки Arena-Hard, 99,9% для OpenLLM v1 (с использованием подсказок Meta, если они доступны), 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Эта модель была получена путем квантования весов Meta-Llama-3.1-70B-Instruct к типу данных INT8. Эта оптимизация уменьшает количество битов, используемых для представления весов и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, int8, vllm, conversational, en, de, fr, it
Лайков: 21 | Загрузок: 3,788
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
