AlexWortega/instruct_rugptSmall - Каталог нейросетей
Генерация текста

AlexWortega/instruct_rugptSmall

Добавлено:
AlexWortega/instruct_rugptSmall

> Я дообучил small rugpt на датасете инструкций, хабра, QA и кода The weights of Instructions ruGPT Small v0.1a are licensed under version 2.0 of the Apache License. I used Novograd with a learning rate of 2e-5 and global batch size of 6 (3 for each data parallel worker). I use both data parallelism and pipeline parallelism to conduct training. During training, we truncate the input sequence to 1024 tokens, and for input sequence that contains less than 1024 tokens, we concatenate multiple sequences into one long sequence to improve the data efficiency.

Модальности:
Генерация текста

Области применения:
Генерация кода Финансы Следование инструкциям


Задача: Генерация текста
Автор: AlexWortega
Теги: gpt2, finance, code, en, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 192

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.