Языковая модель в стиле GPT-2 с параметрами 1,3B для русского языка с расширенным контекстным окном из 8192 токенов, обученная посредством непрерывного предварительного обучения на сайте evilfreelancer/ruGPT3XL. Исходный ruGPT3XL использует выученные абсолютные позиционные встраивания (APE): встраивание таблицы позиций представляет собой простой nn.Embedding(maxpositionembeddings, Hiddensize), который обучается вместе со всеми другими весами. Это означает, что модель никогда не видела индексов положения после 2047 года и не может обобщать более длинные последовательности без точной настройки. Кроме того, в модели используется чередующееся разреженное внимание, где сетка маски внимания строится динамически как numblocks = maxpositionembeddings // разреженный размер блока, поэтому увеличение maxpositionembeddings` автоматически корректирует разреженную сетку без каких-либо архитектурных изменений. Контекст расширялся в два этапа: 2k -> 4k, затем 4k -> 8k, каждый раз продолжая с предыдущей контрольной точки. Шаг 1. Позиционное встраивание мозаики. Существующая матрица внедрения сохраняется для известных позиций (от 0 до N-1). Новые позиции заполняются путем циклического перемещения по исходной таблице: это намеренно выбрано вместо линейной интерполяции: интерполяция нарушает все существующие вложения и вызывает серьезные…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: evilfreelancer
Теги: rugpt3xl, gpt3, russian, causal-lm, context-extension, conversational, custom_code, ru
Лайков: 6 | Загрузок: 168
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
