Doge использует wsdscheduler в качестве планировщика обучения, который делит скорость обучения на три этапа: разминка, стабильность и распад. Это позволяет нам продолжать обучение на любом новом наборе данных из любой контрольной точки на стабильном этапе без всплесков обучения. Вот начальные показатели обучения, необходимые для продолжения обучения на каждой контрольной точке: — Doge-20M: 8e-3 — Doge-60M: 6e-3 — Doge-160M: 4e-3 — Doge-320M: 2e-3
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: SmallDoge
Теги: doge, conversational, custom_code, en, endpoints_compatible
Лайков: 3 | Загрузок: 71
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
