> Я настроил GPT2 для задач text2code, cot, math и FLAN, в некоторых задачах он работает лучше, чем GPT-JT. Я создаю коллекцию открытых методов и наборов данных для построения TaskGPT2-xl: — — Модель была обучена на большом наборе разнообразных данных, включая набор данных цепочки мыслей (CoT), набор данных FLAN, набор данных Natural-Instructions (NI). Веса TaskGPT2-xl лицензируются по лицензии Apache версии 2.0. Я использовал наборы данных из HuggingFace: — Strategyqatrain — aquatrain — qed_train Я использовал Novograd со скоростью обучения 2e-5 и глобальным размером пакета 6 (3 для каждого параллельного работника с данными). Для проведения обучения я использую как параллелизм данных, так и параллелизм конвейеров. Во время обучения мы урезаем входную последовательность до 512 токенов, а для входной последовательности, содержащей менее 512 токенов, мы объединяем несколько последовательностей в одну длинную последовательность, чтобы повысить эффективность данных.
Модальности:
Генерация текста
Области применения:
Генерация кода Финансы
Задача: Генерация текста
Автор: AlexWortega
Теги: gpt2, finance, code, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
