Тонкая настройка QLoRA google/gemma-4-26b-a4b-it (26B MoE, ~4B active) для аниме-движка Ars-Fabula. Модель описывает сцены из жизни для заблокированного актерского состава и управляет спрайтами, фонами и выбором с помощью протокола инструмента в скобках ([TOOL: name key=»value» choices='[…]’]). — Метод: QLoRA на экспертах MoE (путь A «un-fuse»): каждый слитый вес 3D Gemma4TextExperts разделяется на nn. Линейные листья для каждого эксперта, чтобы LoRA могла ориентироваться на экспертов.(gateup |down).N (7885 модулей LoRA, 1,88% обучаемых), затем повторно слитый бит — точный к каноническому макету Gemma4 для GGUF. — Данные: 2752 оборота по VN-протоколу (прослеживается реальная игра, фильтруется валидность). — Расписание: 2 эпохи, один B200, 688 шагов оптимизатора, окончательная потеря поезда 0,225. — Почему эксперты: обучение экспертов FFN (где живет фразировка) — это то, что движет качеством прозы * — только внимание и плотный — только FFN LoRA дал только поверхностный рестайлинг. Настройка экспертов сохраняет и без того низкую частоту консервированных фраз базовой модели, одновременно повышая разнообразие словарного запаса и заостряя голос персонажа (см. Оценка). Эта тонкая настройка (в конфигурации корабля, температура 1.1) по сравнению с необработанной базой google/gemma-4-26b-a4b-it, по подсказкам VN-протокола. Более высокий…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: build-small-hackathon
Теги: gguf, visual-novel, gemma, moe, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 481
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
