Код в этом репозитории использовался для обучения всех вариантов GPT2. Код поддерживает обучение и тонкую настройку GPT2 на графических процессорах и TPU через API TPUEstimator. База и среда GPT2 используют код из папки gpt2 и могут обучать модели из репозитория minimaxir/gpt-2-simple. Эти модели были обучены с использованием оптимизатора Lamb, имеют ту же архитектуру, что и gpt2, и полностью совместимы с библиотекой преобразователей. GPT2-large и GPT2-mega были обучены с использованием библиотеки imcaspar/gpt2-ml и соответствуют архитектуре grover. Вы можете использовать классы pytorch, найденные в grover/modelinggpt2.py, в качестве прямой замены классов в библиотеке преобразователей (она должна поддерживать версию v4.x из преобразователей). Обе модели обучаются с использованием оптимизатора adafactor, поскольку оптимизаторы Адама и Лэмба используют слишком много памяти, из-за чего модель не помещается даже в один пакет на ядре TPU. AraGPT2 обучается на том же большом наборе данных на арабском языке, что и AraBERTv2. Модель | Оптимизатор | Размер контекста | Размер встраивания | Количество голов | Количество слоев | Размер модели/количество параметров | —|:—:|:—:|:—:|:—:|:—:|:—: AraGPT2-base | баранина | 1024 | 768 | 12 | 12 | 527МБ/135М | AraGPT2-средний | баранина | 1024 | 1024 |…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: aubmindlab
Теги: tf, jax, tensorboard, gpt2, ar, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 3,597
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
