Мы выпускаем DASD-30B-A3B-Thinking-Preview, высокопроизводительную языковую модель 30B Mixture-of-Experts (MoE), специализирующуюся на рассуждениях с длинной цепочкой мыслей (Long-CoT) в области математики, генерации кода и научных рассуждений. DASD-30B-A3B-Thinking-Preview проходит пост-обучение от Qwen3-30B-A3B-Instruct-2507 (недумающий студент) и очищается от gpt-oss-120b (учитель) через наш конвейер дистилляции последовательностей, ориентированный на распределение. > Примечание 1. Чтобы продемонстрировать масштабируемость и эффективность нашего рецепта данных, эта предварительная модель была обучена только на наборе данных первого этапа (низкотемпературного) (~ 105 тыс. образцов), полученном из нашего конвейера 4B, без какого-либо повторного курирования или дополнительного RL. Даже при таком облегченном рецепте он обеспечивает превосходные характеристики среди открытых моделей MoE. > Примечание 2. Эта модель (DASD-30B-A3B-Thinking-Preview) представляет собой предварительный исследовательский артефакт, обученный только на первом этапе (низкотемпературная выборка) нашего конвейера, чтобы продемонстрировать масштабируемость нашего рецепта данных. Полностью обученную модель и полную методологию можно найти в документе DASD-4B-Thinking и в нашем техническом отчете. > Примечание. Мы включили системную подсказку, поскольку она использовалась на всех этапах обучения. Чтобы обеспечить стабильный результат…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Alibaba-Apsara
Теги: qwen3_moe, conversational, endpoints_compatible
Лайков: 52 | Загрузок: 184
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
