Эта модель представляет собой модель int4 с group_size 128 и симметричным квантованием Qwen/Qwen3-Next-80B-A3B-Instruct, созданным с помощью Intel/автоматического округления. Пожалуйста, следуйте лицензии оригинальной модели. Для vllm требуется этот PR https://github.com/vllm-project/vllm/pull/24818. Следующую команду можно использовать для создания конечной точки API по адресу http://localhost:8000/v1 с максимальной длиной контекста 256 КБ токенов. Для MTP рекомендуется использовать следующую команду с остальными настройками, такими же, как указано выше: Модель может выдавать фактически неверные выходные данные, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении искусственного интеллекта Intel: Лицензия на эту модель не является юридической консультацией. Мы не несем ответственности за действия третьих лиц, использующих данную модель.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Intel
Теги: qwen3_next, conversational, 4-bit, auto-round
Лайков: 9 | Загрузок: 334
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
