Эта модель представляет собой смешанную модель int4 с размером группы 128 и симметричным квантованием Qwen/Qwen3-Next-80B-A3B-Instruct, созданного с помощью Intel/автоматического округления через RTN (без настройки алгоритма)**. Неэкспертные слои являются резервными до 8 бит. Пожалуйста, обратитесь к разделу «Создание модели» для получения более подробной информации. Пожалуйста, следуйте лицензии оригинальной модели. Для vllm требуется этот PR https://github.com/vllm-project/vllm/pull/24818. Модель может выдавать фактически неверные выходные данные, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении искусственного интеллекта Intel: Лицензия на эту модель не является юридической консультацией. Мы не несем ответственности за действия третьих лиц, использующих данную модель. Пожалуйста, проконсультируйтесь с адвокатом, прежде чем использовать эту модель в коммерческих целях.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Intel
Теги: qwen3_next, conversational, 4-bit, auto-round
Лайков: 23 | Загрузок: 78
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
