Модель была обучена на наборе данных, состоящем из 77 миллионов токенов синтетических RP и данных генерации коротких рассказов. Обучение заняло около 2 часов на узле 8xH100 SXM. Конфигурация обучения была более или менее повторно использована из Sugarquill, и она снова работала довольно хорошо. Был сбой ноды после окончания обучения и слияния в LoRA, поэтому мне пришлось слить ее с MergeKit на отдельной ноде, в остальном все было гладко. Модель реагирует на форматирование инструкций ChatML точно так же, как базовая модель.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
