Я решил снова повозиться с методами обучения, учитывая возрождение таких методов, как многоступенчатое обучение. Некоторые люди снова начали это делать, и почему бы и нет? Вдохновлен методологией AshhLimaRP, но сделал по-своему. Фрейя-S1 — LoRA Обучена на ~1,1 ГБ литературы и необработанного текста по базовой модели Qwen 2.5. — Почистил текст и литературу, как мог, но кое-где могли возникнуть проблемы. Фрейя-С2 — первый LoRA был применен к Qwen 2.5 Instruct, затем я тренировался поверх него. — Снижен рейтинг LoRA, потому что это в основном инструкции и другие детали, в которые я не буду вдаваться. Рекомендуемые настройки модели | Слушай, я просто использую их, они работают достаточно хорошо. Я даже не знаю, как работают DRY или другие сэмплеры мемов. В любом случае ваша системная подсказка имеет большее значение. Общее время обучения составило ~10 часов на узле 8xH100, спонсируемом правительством Сингапура или кем-то еще. Спасибо за надбавку за национальную службу, MHA.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Sao10K
Теги: qwen2, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 21 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
