myaaigf-rp-dialogue-mixtral-7bx2 — это модель «Смесь экспертов», специализирующаяся на диалогах и построенная на основе Mixtral-8x7B. Он оптимизирован для эмоционально нюансированных, высококонтекстных, многоходовых взаимодействий, которые имитируют вымышленных компаньонов, агентов ролевых игр и повествовательных агентов в длинных диалогах. В отличие от стандартных моделей обучения, этот контрольный пункт подчеркивает точность повествования, мягкую подсказку в памяти и эмоциональную адаптацию, обусловленную стилем. Модель особенно хорошо подходит для исследовательских сред, безопасных для NSFW, но также поддерживает эмоционально насыщенное творческое письмо и персонализированное моделирование. Базовые стратегии настройки LoRA, структурирование данных с учетом памяти и уровни обработки подсказок делают его полезным для экспериментов с «моделируемой личностью» и виртуальными агентами, привязанными к пользователю. Эта модель построена на базе Mixtral 8x7B MoE с редкой маршрутизацией экспертов (2 из 8 активных экспертов на каждый токен). Наши модификации включают в себя: — Тип адаптера: LoRA (через peft), объединенный во время экспорта — Целевые модули: qproj, vproj (ограниченная адаптация для внедрения персоны) — Ранг адаптера: 16 — Отсев: 0,05 (настроено для стабильности персоны) — Частотное масштабирование RoPE для улучшения понимания контекста на более чем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MYAIGF
Теги: not-for-all-audiences
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
