Демонстрация бенгальского GPT-2. Часть мероприятия Huggingface JAX/Flax. Также имеется отточенная модель текстов бенгальских песен. Модель OpenAI GPT-2 была предложена в статье «Языковые модели для многозадачных учащихся без присмотра». Исходная модель GPT2 представляла собой причинный (однонаправленный) преобразователь, предварительно обученный с использованием языкового моделирования на очень большом корпусе текстовых данных размером около 40 ГБ. Эта модель имеет ту же конфигурацию, но была предварительно обучена на бенгальском корпусе набора данных mC4 (многоязычный C4). Код для обучения модели находится здесь в открытом доступе. Демо: https://huggingface.co/spaces/flax-community/Gpt2-bengali. Для использования модели доступно несколько вариантов. Например, используя конвейер напрямую, мы можем попытаться сгенерировать предложения. Аналогично, для использования точно настроенной модели в песнях на бангла мы можем использовать следующее. Для использования в других задачах модель необходимо настроить на пользовательских наборах данных. Подробности можно найти в документации HuggingFace Халид Сайфулла Тасмия Тахсин Майиша Ритобрата Гош Ибрагим Муса * M Сайфул Бари @misc {flaxcommunity2023, автор = { {{Flax Community} }, title = { gpt2-bengali (Revision cb8fff6) }, год = 2023, url = {…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flax-community
Теги: jax, tensorboard, gpt2, bn, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 1,357
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
