CAT-мышление обучено генерировать рассуждения на японском языке посредством обучения с подкреплением. Модель основана на Qwen3-Swallow-v0.2, которая представляет собой модель непрерывного предварительного обучения на основе Qwen3 для свободного чтения и письма на японском языке. CAT-Thinking разработан для того, чтобы рассуждать на японском языке, даже если вводимый текст написан на английском языке. Модель обучается с максимальной длиной выходного токена 4096. Мы рекомендуем установить maxnewtokens как минимум на 4096 или больше для сложных проблем. Хотя модель обучена отвечать в пределах 4096 токенов, она имеет тенденцию генерировать более длинные ответы, особенно для сложных и/или запутанных инструкций. Он часто застревает в повторении, особенно когда инструкция сбивает с толку (например, даны две противоречивые инструкции). Мы считаем, что для снижения вероятности повторения полезно повторение_пенальти=1,05 или больше. Модель совместима со всеми библиотеками, которые есть в Qwen-3-8B. Для работы с трансформаторами выполните следующую команду. Мы провели оценку задач по кодированию и математике на японском и английском языках. Мы сравниваем CAT-мышление с его аналогами Qwen-3-8B (Qwen-3) и Qwen3-Swallow-8B-RL-v0.2 (Swallow). Случайная выборка (температура = 0,8, topp = 0,95,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cyberagent
Теги: qwen3, japanese, english, conversational, ja, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 219
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
