> ⚠️ Тестовый запуск. Это ранняя экспериментальная контрольная точка, а не законченная модель. Тонкая настройка QLoRA объединена с BF16, построенным на базе Qwen/Qwen-AgentWorld-35B-A3B (Qwen3.5 MoE: всего 35B / ~3B активных, гибрид DeltaNet с линейным вниманием + полным вниманием, 256 экспертов). Он был обучен на тщательно подобранном наборе общедоступных наборов данных и предназначен для задач кодирования. — Тип: тестовый прогон — один короткий этап учебной программы (длина последовательности 2 КБ), ранняя контрольная точка. — Метод: QLoRA (ранг 16, α 32) применяется к пути смешивания последовательностей модели (полное внимание q/k/v/o + проекции ввода/вывода с линейным вниманием по всем 40 слоям), затем объединяется с базовыми весами BF16. 256 экспертов МО остались замороженными. — Формат: безопасные тензоры BF16, встраиваемые в 🤗 Transformers/vLLM (та же архитектура и токенизатор, что и базовый). Перед смешиванием все источники были структурно очищены и качественно отфильтрованы. Это предварительная контрольная точка из короткого тренировочного забега; он не подвергался сравнительному анализу и его следует рассматривать как экспериментальный. Он наследует лицензию и все ограничения на использование базовой модели (Qwen/Qwen-AgentWorld-35B-A3B).
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: groxaxo
Теги: qwen3_5_moe, image-text-to-text, moe, qlora, coding, test, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 129
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
