Это настроенный на инструкции вариант последовательного скрытого декодирования 8B n=8, предназначенный для диалоговых случаев и сценариев использования, следующих инструкциям. — Базовая модель: Sequential-Hidden-Decoding-8B-n8 — Базовая архитектура: Qwen3-8B-Base — Масштаб: 8x — Длина контекста: 131072 — Dtype: bfloat16 Последовательное скрытое декодирование масштабирует длину последовательности путем подготовки нескольких матриц внедрения для одной и той же последовательности токенов, чередования результатов и подачи расширенной последовательности в один и тот же преобразователь. Эта модель представляет собой настроенную по инструкциям версию варианта 8B n=8. Для этой модели требуется исправленная версия SGLang для вывода. См. страницу проекта для вариантов установки. > Примечание. Модели последовательного скрытого декодирования внутренне обрабатывают последовательности длиной n×, поэтому —chunked-prefill-size -1, —attention-backend fa3 и консервативный размер пакета важны для стабильности и производительности. Это модель, настроенная по инструкции. Используйте конечную точку /v1/chat/completions: этот репозиторий включает файлы пользовательской архитектуры, необходимые для TrustRemotecode: эта модель выпущена в соответствии с условиями лицензии на последовательное скрытое декодирование.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: tencent
Теги: qwen3_scale_seq, sequential-hidden-decoding, instruct, conversational, custom_code
Лайков: 8 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
