Вслед за CrimsonDawn-v0.2 у нас есть AzureDusk-v0.2! Тренируясь на Мистраль-Немо-Базе-2407, на этот раз я добавил значительно больше данных, а также тренировался с использованием RSLoRA в отличие от обычного LoRA. Еще одним ключевым изменением является обучение использованию ChatML в отличие от форматирования Mistral. Модели версии 0.2 обучены на ChatML, структура подсказок выглядит примерно так: Модели версии 0.2 обучены на ChatML, используйте этот шаблон контекста и инструкций. Обучение проводилось дважды по две эпохи каждая на двух графических процессорах NVIDIA A6000 с использованием LoRA. Использовался двухэтапный подход, при котором базовая модель обучалась в течение двух эпох на данных RP, затем к базе применялся LoRA. Наконец, новая модифицированная база была обучена в течение двух эпох, а новая инструкция LoRA была применена к модифицированной базе, что привело к тому, что вы видите здесь.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Epiculous
Теги: mistral, conversational, en, fr, de, es, it, pt
Лайков: 9 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
