> Это ruGPTMedium дообученная в инструктивно-флановом сетапе, она более менее ZSшотиться и FSшотиться и работает лучше, чем XGLM1.7b, mgpt на английском языке Вес инструкций ruGPT Small v0.1a лицензируется в соответствии с версией 2.0 лицензии Apache. Я использовал Novograd со скоростью обучения 2e-5 и общим размером пакета 6 (3 для каждого параллельного исполнителя данных). Для проведения обучения я использую как параллелизм данных, так и параллелизм конвейеров. Во время обучения мы урезаем входную последовательность до 1024 токенов, а для входной последовательности, содержащей менее 1024 токенов, мы объединяем несколько последовательностей в одну длинную последовательность, чтобы повысить эффективность данных.
Модальности:
Генерация текста
Области применения:
Генерация кода Финансы Следование инструкциям
Задача: Генерация текста
Автор: AlexWortega
Теги: gpt2, finance, code, ru, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
