Взяв то, что, казалось, хорошо сработало с CrimsonDawn-v0.1, новый CrimsonDawn-v0.2 представляет собой ту же методологию обучения, на этот раз обучение на Mistral-Nemo-Base-2407 я добавил значительно больше данных, а также тренировался с использованием RSLoRA в отличие от обычного LoRA. Еще одним ключевым изменением является обучение использованию ChatML в отличие от форматирования Mistral. Модели версии 0.2 обучены на ChatML, структура подсказок выглядит примерно так: Модели версии 0.2 обучены на ChatML, используйте этот шаблон контекста и инструкций. Обучение проводилось дважды по две эпохи каждая на двух графических процессорах NVIDIA A6000 с использованием LoRA. Использовался двухэтапный подход, при котором базовая модель обучалась в течение двух эпох на данных RP, затем к базе применялся LoRA. Наконец, новая модифицированная база была обучена в течение двух эпох, а новая инструкция LoRA была применена к модифицированной базе, что привело к тому, что вы видите здесь.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Epiculous
Теги: gguf, en, fr, de, es, it, pt, ru
Лайков: 6 | Загрузок: 505
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
