Эта модель была обучена для 2 эпох на 10 тыс. строк (~ 18,7 млн токенов), взятых поровну из наборов данных Erebus-87k и rshortstories24k. Я также нормализовал пунктуацию в ASCII при разделении поезда, поэтому несовпадающие кавычки больше не должны быть проблемой. Также нормализованы пробелы, поэтому двойные пробелы после точки также должны исчезнуть. Он обучался на рабочей станции 5x3090Ti в течение 7,5 часов с использованием rsLoRA. Для этого запуска я снова переключился на Axolotl, поскольку LF вообще отказался запускаться на этой рабочей станции. Кроме того, на этот раз это bf16 LoRA. В целом тренировка прошла гораздо более гладко, чем в прошлый раз. Я уже несколько раз пытался тренировать Квена Шугарквилла, но потери были сумасшедшими. Эффективный размер пакета 40, rsLoRA и оптимизатор pagedademamix8bit, по-видимому, полностью решили эту проблему. Спасибо компании Kearm за предоставление вычислительных ресурсов для этого тренировочного прогона! Модель реагирует на форматирование инструкций ChatML точно так же, как базовая модель. Не стесняйтесь экспериментировать с сэмплерами после того, как почувствуете их. Кажется, ему очень нравятся Top-A и Smooth Sampling.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
