Этот репозиторий содержит адаптер LoRA, созданный на основе google/gemma-4-E4B-it для классификации эмоций в наборе данных dair-ai/emotion. Модели предлагается вернуть ровно одну метку: печаль, радость, любовь, гнев, страх или удивление. – Базовая модель: google/gemma-4-E4B-it – Тип адаптера: LoRA – Структура: трансформаторы + peft + trl – Набор данных: dair-ai/emotion – Ярлыки: грусть, радость, любовь, гнев, страх, удивление. Для обучения в финальном блокноте использовалось перетасованное подмножество набора данных с 4000 обучающими примерами, 400 проверочными примерами и 400 тестовыми примерами. Адаптер обучался в течение 1 эпохи с 4-битной загрузкой и вычислениями bf16. Ключевые настройки из записной книжки: — Ранг LoRA: 16 — Альфа-версия LoRA: 32 — Отсев LoRA: 0,05 — Скорость обучения: 1e-4 — Размер пакета: 8 — Шаги накопления градиента: 2 — Максимальная длина последовательности: 256 — Оптимизатор: pagedadamw8bit Оценка проводилась на тестовом разделении из 400 примеров до и после тонкой настройки: это показывает явное улучшение классификации эмоций только по меткам с помощью легкий адаптер. Эта модель предназначена для классификации эмоций в коротких текстах на английском языке в системе с шестью метками, используемой dair-ai/emotion. Он лучше всего подходит для экспериментов, обучения и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kingabzpro
Теги: emotion-classification, lora, gemma, conversational, en, endpoints_compatible
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
