Экспорт kappa20b131k в GGUF для использования с llama.cpp и совместимыми механизмами вывода. Часть серии персон — набор экспериментальных тонких настроек, исследующих поколение, обусловленное личностью, на базе 20.9B MoE. Это (каппа) полнопараметрическое SFT в контексте 131 КБ для многоходовых разговоров с вызовом инструментов и 9 отдельными персонажами. Построен на базовой модели OpenAI GPT-OSS 20B. Обучался на 4 десктопных графических процессорах с торчтитаном. Полнопараметрическая контролируемая точная настройка (SFT) в bf16 — все веса 20,9B поддаются обучению, включая каждого эксперта. 4 графических процессора NVIDIA RTX PRO 6000 Blackwell (96 ГиБ каждый) на одной рабочей станции. Тензорный параллелизм, степень 4. Пиковое использование памяти: 92,7 ГиБ на графический процессор (97,7%). torchtitan с пользовательскими расширениями для MoE, упаковкой длинного контекста и оптимизацией с разгрузкой ЦП. Модель была обучена многоходовым диалогам между 9 персонажами роботов, сопоставленными с сеткой выравнивания D&D: Чтобы активировать персонаж, установите системное сообщение «Персона:» (например, Персона: chaoticevil`). Модель также работает без персонального системного сообщения для общего использования. Каждая личность сохраняет различные поведенческие характеристики, сохраняя при этом качество задачи — личность участвует в выполнении, а не в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: eousphoros
Теги: gguf, mixture-of-experts, moe, long-context, fine-tuning, sft, persona, multi-turn
Лайков: 6 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.