GPT-OSS-Swallow v0.1 — это семейство больших языковых моделей, доступных с размерами параметров 20 Б и 120 Б. Построенные как двуязычные японско-английские модели, они были разработаны с помощью непрерывного предварительного обучения (CPT), контролируемой точной настройки (SFT) и обучения с подкреплением с проверяемыми вознаграждениями (RLVR) на основе GPT-OSS [OpenAI, 2025]. Помимо повышения уровня владения японским языком и возможностей японско-английского перевода, мы свели к минимуму снижение производительности при выполнении математических задач и задач по кодированию, которое часто наблюдается во время CPT, за счет использования высококачественных наборов математических и кодовых данных наряду с специально созданными данными во время SFT. Впоследствии мы еще больше расширили математические возможности и возможности кодирования моделей с помощью RLVR, добившись производительности, сравнимой или превосходящей GPT-OSS. Двуязычное владение: высокая оптимизация для японского и английского языков. Сохранение производительности STEM: стратегические конвейеры CPT и SFT успешно предотвратили катастрофическое забывание в математике и программировании. Улучшенное мышление:** производительность рассуждений достигла уровня исходных моделей GPT-OSS, а в некоторых задачах даже превосходила их. Мы выпускаем четыре модели GPT-OSS-Swallow: две модели SFT и две модели RL (исключая модели CPT).…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tokyotech-llm
Теги: gpt_oss, conversational, en, ja, endpoints_compatible
Лайков: 15 | Загрузок: 2,203
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
