— Архитектура модели: Qwen2 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование: INT4 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на английском языке. Как и Qwen2-72B-Instruct, эта модель предназначена для общения в режиме помощника. — За пределами области применения: использование любым способом, нарушающим применимые законы или правила (включая законы о торговом регулировании). Используйте на языках, отличных от английского. — Дата выпуска: 11.07.2024 г. — Версия: 1.0 — Лицензия(и): Apache-2.0 — Разработчики модели: Neural Magic Квантованная версия Qwen2-72B-Instruct. Он достигает среднего балла 68,35 в тесте OpenLLM (версия 1), тогда как неквантованная модель достигает 69,63. Эта модель была получена путем квантования весов Qwen2-72B-Instruct к типу данных INT4. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 25%. Квантуются только веса линейных операторов внутри блоков преобразователей. Применяется симметричное групповое квантование, при котором линейное масштабирование для каждой группы отображает представления INT4 и числа с плавающей запятой квантованных весов. AutoGPTQ используется для квантования с 10%…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 4 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
