Memphis-CoT — это доработка StableLM 3b 4e1t на TinyCoT, SciCoT вместе с reddit-instruct (подмножество из 5000 примеров, исключая сообщения с скобками в заголовке) и курируемое подмножество oasst2. Мемфис обучался только на человеческих данных! Здесь нет поколений GPT. Точная настройка выполнялась с использованием моего фреймворка supertrainer2000 и моего оптимизатора Adalite. Я настроил модель с помощью итеративной процедуры начальной загрузки, вдохновленной STaR и SPIN. Сначала я настроил модель на всех наборах данных, используя потери MixCE и NEFTune, в течение двух эпох. Затем я трижды выполнил следующие шаги: 1. Сгенерировал ответы на каждый вопрос в TinyCoT, используя текущую модель, проверил каждый ответ на правильность и создал набор данных пар (правильных, неправильных). Дополнительные значения отбрасываются, поэтому каждый правильный и неправильный ответ уникален. 2. Точная настройка модели для 1 эпохи, используя потерю ранжирования по нормализованным по длине логарифмическим вероятностям каждой последовательности, аналогично оптимизации ранжирования предпочтений, сравнивая правильный и неправильный сгенерированный ответ. Кроме того, были включены стандартные потери CE по выбранному заканчиванию. Это должно быть более эффективно, чем STaR или SPIN, поскольку использует…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: euclaise
Теги: stablelm_epoch, supertrainer2000, human-data, conversational, custom_code
Лайков: 31 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
