Этот репозиторий создан Huggingface в рамках недели сообщества Flax/Jax. Цель этого проекта — предварительно обучить языковую модель с использованием GPT-2 специально для тамильского языка. Предварительно обученная модель на тамильском языке с использованием цели причинно-следственного языкового моделирования (CLM). Модель GTP-2 обучена на наборе данных Оскара — ta и наборе данных IndicNLP — ta. Вы можете использовать необработанную модель для прогнозирования следующего предложения, но в основном она предназначена для точной настройки для последующих задач. Просмотрите центр моделей, чтобы найти доработанные версии для интересующей вас задачи. — Экспортируйте каталог модели (где вы хотите хранить артефакты модели, такие как конфигурация, токенизатор и т. д.). — После создания конфигурации и токенизатора запустите следующий скрипт, чтобы начать обучение модели Flax. Чтобы выполнить генерацию языка с использованием модели, можно использовать конвейер напрямую. — Сначала преобразуйте модель льна в pytorch, используя следующую команду:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abinayam
Теги: tensorboard, gpt2, ta, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 2,083
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
