— Архитектура модели: Llama-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации: FP8 — Квантование веса: FP8 — Варианты предполагаемого использования: Предназначен для коммерческого и исследовательского использования нескольких языков. Как и Llama-3.2-3B-Instruct, эта модель предназначена для общения в режиме помощника. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). — Дата выпуска: 25 сентября 2024 г. — Версия: 1.0 — Лицензии: Llama3.2 — Разработчики модели: Neural Magic Квантованная версия Llama-3.2-3B-Instruct. Он достигает результатов в пределах 0,7% от оценок неквантованной модели для MMLU, ARC-Challenge, GSM-8k, Hellaswag, Winogrande и TruthfulQA. Эта модель была получена путем квантования весов Llama-3.2-3B-Instruct к типу данных FP8. Эта оптимизация уменьшает количество бит, используемых для представления весов и активаций, с 16 до 8, уменьшая требования к памяти графического процессора (примерно на 50%) и увеличивая пропускную способность вычислений при умножении матриц (примерно в 2 раза). Весовое квантование также снижает требования к размеру диска примерно на 50%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: llama, llama-3, neuralmagic, llmcompressor, conversational, en, de, fr
Лайков: 6 | Загрузок: 1,095
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
