Nubinu/Gemma4-E4B-MiniFantasy-V1

Это 4-битная LoRA доработка модели MuXodious/gemma-4-E4B-it-SOMPOA-heresy. Структура: Unsloth / Hugging Face SFTTrainer Метод: PEFT / LoRA LoRA Ранг (r): 32 LoRA Alpha: 32 Целевые модули: языковые слои, модули внимания и mlpmodules Максимальная длина последовательности: 4096 токенов (включена упаковка последовательностей) Эпохи: 1 Скорость обучения: 1e-5 (косинусный планировщик) Размер пакета: 2 на устройство (эффективный размер пакета: 16 через 8 шагов накопления градиента) Оптимизатор: pagedadamw8bit`

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: Nubinu
Теги: gemma4, image-text-to-text, unsloth, roleplay, gemma-4, conversational, en, endpoints_compatible
Лайков: 7  |  Загрузок: 213

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.