Объединение Gemma 4 в масштабе E4B (~4B эффективных параметров, всего ~7,5B после удаления мультимодальных адаптеров), созданное для ролевых игр и творческого написания, с особым вниманием к сохранению способности базовой ИТ-модели следовать инструкциям, одновременно складывая стильный и прозаический сигнал качества от нескольких вышестоящих топливных адаптеров и наборов данных. Рецепт консервативен по своей конструкции: каждый компонент, который касался весов, пропускался либо через маску подпространства инструкций SVD (время обучения), либо через важность Фишера + послойное демпфирование (время апостериорного слияния). Затем последний корабль был «исцелен» от замаскированного прохода SFT через slerp при α = 0,3, смещенный к базе V3. (Чем выше, тем лучше для IFEval и h_delta; чем ниже, тем лучше для slop и Rep3g.) Базовый уровень: стандартный google/gemma-4-E4B-it Q6K — strict-P 84,66%, hdelta 0. Топливные адаптеры (все смешанные по рангу, обучены по google/gemma-4-E4B-pt, если не указано иное): 1. Адаптер в стиле Marvin CPT (r=64) — continue-pretrain на наборе данных инструкций в библейском стиле Марвина (см. титры). 2. Адаптер Marvin Instruct-tuned (r=256) — точная настройка в формате инструкций на тех же исходных данных Marvin. 3. адаптер микса glimmer-b200 на 7 корпусов — публичный LoRA rpDungeon/glimmer-b200-final,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rpDungeon
Теги: gemma4, gemma, gemma-4, e4b, roleplay, merge, fisher-protected, instruct-subspace-mask
Лайков: 9 | Загрузок: 243
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
