Квантовано с использованием vllm-project/llm-compressor, nvidia/Llama-Nemotron-Post-Training-Dataset и следующих конфигураций: Мы представляем обновленную версию режима без мышления Qwen3-4B под названием Qwen3-4B-Instruct-2507, включающую следующие ключевые улучшения: — Значительные улучшения общих возможностей, включая следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, кодирование и использование инструментов. — Существенный прогресс в охвате обширных знаний на нескольких языках. — Заметно лучшее соответствие предпочтениям пользователя при выполнении субъективных и открытых задач, что позволяет получать более полезные ответы и генерировать текст более высокого качества. — Расширенные возможности понимания длинного контекста 256K. Qwen3-4B-Instruct-2507 имеет следующие функции: — Тип: причинно-языковые модели — Этап обучения: предварительное обучение и постобучение — Количество параметров: 4.0B — Количество параметров (без внедрения): 3,6B — Количество слоев: 36 — Количество головок внимания (GQA): 32 для Q и 8 для KV — Длина контекста: 262 144 изначально. Более подробную информацию, включая оценку производительности, требования к оборудованию и производительность вывода, можно найти в нашем блоге, GitHub и документации. *: Для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: cyankiwi
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible, compressed-tensors
Лайков: 7 | Загрузок: 13,317
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
