Часть серии персон — набор экспериментальных тонких настроек, исследующих поколение, обусловленное личностью, на базе 20.9B MoE. Это (каппа) полнопараметрическое SFT в контексте 131 КБ для многоходовых разговоров с вызовом инструментов и 9 отдельными персонажами. Построен на базовой модели OpenAI GPT-OSS 20B. Обучался на 4 десктопных графических процессорах с торчтитаном. Полнопараметрическая контролируемая точная настройка (SFT) в bf16 — все веса 20,9B поддаются обучению, включая каждого эксперта. 4 графических процессора NVIDIA RTX PRO 6000 Blackwell (96 ГиБ каждый) на одной рабочей станции. Тензорный параллелизм, степень 4. Пиковое использование памяти: 92,7 ГиБ на графический процессор (97,7%). torchtitan с пользовательскими расширениями для MoE, упаковкой длинного контекста и оптимизацией с разгрузкой ЦП. Модель была обучена многоходовым диалогам между 9 персонажами роботов, сопоставленными с сеткой выравнивания D&D: Чтобы активировать персонаж, установите системное сообщение «Персона:» (например, Персона: chaoticevil`). Модель также работает без персонального системного сообщения для общего использования. Каждый персонаж сохраняет различные поведенческие характеристики, сохраняя при этом качество задачи — личность участвует в доставке, а не в сути. Все 9 персонажей тестировались по одинаковым подсказкам. Каждая персона предоставлена в полном объеме,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: eousphoros
Теги: gpt_oss, mixture-of-experts, moe, long-context, fine-tuning, sft, persona, multi-turn
Лайков: 15 | Загрузок: 83
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
