Продолжающаяся экспериментальная предварительная подготовка Gemma-2-9B-It-SPPO-Iter3 на различных данных коротких рассказов из Интернета. Я пытался разнообразить прозу Джеммы, не разрушая при этом ее сообразительность. Думаю, мне наполовину это удалось? В этой модели можно было бы использовать другую эпоху обучения, но даже она уже более творческая и наглядная, чем базовая модель, и при этом не становится слишком глупой. Похоже, основные способности не сильно ухудшились. Должно быть пригодно как для ролевой игры, так и для написания историй с необработанным завершением. Изначально я планировал использовать ее при слиянии, но чувствую, что эта модель достаточно интересна, чтобы ее можно было выпустить и отдельно. Посвящается Кахвею, который уже несколько месяцев ждал от меня тонкой настройки Джеммы, и Ла Рате, которая любит модели сценаристов. GGUF от Prodeus: https://huggingface.co/allura-org/G2-9B-Sugarquill-v0-GGUF Эта модель была обучена в течение 2 эпох на 10 тыс. строк (~ 18,7 млн токенов), взятых поровну из наборов данных Erebus-87k и rshortstories24k. Он обучался на узле 8xH100 SXM в течение 30 минут с помощью rsLoRA. Во время этого запуска на мой wandb поступила полная ерунда, а после шага 13 ведение журнала по какой-то причине вообще прекратилось. Кажется, это напрямую связано с Джеммой, поскольку мое обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: gemma2, conversational, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
