eousphoros/kappa-20b-131k-GGUF - Каталог нейросетей
Генерация текста

eousphoros/kappa-20b-131k-GGUF

Добавлено:
eousphoros/kappa-20b-131k-GGUF

Экспорт kappa20b131k в GGUF для использования с llama.cpp и совместимыми механизмами вывода. Часть серии персон — набор экспериментальных тонких настроек, исследующих поколение, обусловленное личностью, на базе 20.9B MoE. Это (каппа) полнопараметрическое SFT в контексте 131 КБ для многоходовых разговоров с вызовом инструментов и 9 отдельными персонажами. Построен на базовой модели OpenAI GPT-OSS 20B. Обучался на 4 десктопных графических процессорах с торчтитаном. Полнопараметрическая контролируемая точная настройка (SFT) в bf16 — все веса 20,9B поддаются обучению, включая каждого эксперта. 4 графических процессора NVIDIA RTX PRO 6000 Blackwell (96 ГиБ каждый) на одной рабочей станции. Тензорный параллелизм, степень 4. Пиковое использование памяти: 92,7 ГиБ на графический процессор (97,7%). torchtitan с пользовательскими расширениями для MoE, упаковкой длинного контекста и оптимизацией с разгрузкой ЦП. Модель была обучена многоходовым диалогам между 9 персонажами роботов, сопоставленными с сеткой выравнивания D&D: Чтобы активировать персонаж, установите системное сообщение «Персона:» (например, Персона: chaoticevil`). Модель также работает без персонального системного сообщения для общего использования. Каждая личность сохраняет различные поведенческие характеристики, сохраняя при этом качество задачи — личность участвует в выполнении, а не в…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: eousphoros
Теги: gguf, mixture-of-experts, moe, long-context, fine-tuning, sft, persona, multi-turn
Лайков: 6  |  Загрузок: 3

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.