Эта модель является примером метода простой самодистилляции (SimpleSD), который улучшает генерацию кода за счет точной настройки языковой модели на основе ее собственных выборочных выходных данных — без вознаграждений, верификаторов, моделей учителей или обучения с подкреплением. Пожалуйста, смотрите документ ниже для получения дополнительной информации. Для инициализации используется Qwen. — Отбор проб самодистилляции: температура=1,1, topp=0,95, topk=20 — Оценочный отбор проб: температура=0,7, topp=0,95, topk=20 — Это контрольные точки исследования для обеспечения воспроизводимости. — Это не оптимизированные выпуски Qwen. — Они не представляют собой более широкую стратегию модели с открытым исходным кодом. SimpleSD выбирает решения из базовой модели, используя неединичную температуру и усечение top-k/top-p, а затем настраивает эти выборки с помощью стандартного контролируемого обучения. Несмотря на свою простоту, SimpleSD дает большие преимущества в конкурентных тестах программирования, при этом улучшения концентрируются на более сложных задачах. Механизм направлен на разрешение конфликта точности и исследования: SimpleSD изменяет распределение токенов контекстно-зависимым образом, так что единая глобальная конфигурация декодирования становится гораздо более эффективной во время оценки. Невероятно простая самодистилляция улучшает код…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: apple
Теги: qwen3, self-distillation, code-generation, conversational, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
