Эта модель представляет собой модель int4 с group_size 128 и симметричным квантованием Qwen/Qwen3-Next-80B-A3B-Thinking, созданным с помощью Intel/автоматического округления. Пожалуйста, следуйте лицензии оригинальной модели. Для vllm требуется этот PR https://github.com/vllm-project/vllm/pull/24818. Модель может выдавать фактически неверные выходные данные, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении искусственного интеллекта Intel: Лицензия на эту модель не является юридической консультацией. Мы не несем ответственности за действия третьих лиц, использующих данную модель. Пожалуйста, проконсультируйтесь с юристом, прежде чем использовать эту модель в коммерческих целях. @article{cheng2023optimize, title={Оптимизация округления веса с помощью знакового градиентного спуска для квантования llms},author={Чэн, Вэньхуа и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Intel
Теги: qwen3_next, conversational, 4-bit, auto-round
Лайков: 6 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
