Это предварительно обученная модель индонезийского языка с использованием цели причинно-следственного моделирования языка (CLM), которая впервые была представлена в этой статье и впервые опубликована на этой странице. Эта модель была обучена с использованием среды HuggingFace Flax и является частью недели сообщества JAX/Flax, организованной HuggingFace. Все обучение проводилось на виртуальной машине TPUv3-8, спонсируемой командой Google Cloud. Вы можете использовать эту модель напрямую с конвейером для генерации текста. Поскольку генерация основана на некоторой случайности, мы задаем затравку для воспроизводимости: Вот как использовать эту модель для получения характеристик заданного текста в PyTorch: В качестве обучающих данных, используемых для этой модели, взяты индонезийские веб-сайты OSCAR, mc4 и Wikipedia. Наборы данных содержат много нефильтрованного контента из Интернета, который далеко не нейтральен. Хотя мы выполнили некоторую фильтрацию набора данных (см. раздел «Обучающие данные»), эта фильтрация ни в коем случае не является тщательным устранением предвзятого контента, который в конечном итоге используется обучающими данными. Эти предубеждения могут также повлиять на модели, которые настроены с использованием этой модели. Как отмечает сама команда openAI в своей карточке модели: > Потому что крупномасштабные языковые модели, такие как GPT-2, не различают факты…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: flax-community
Теги: jax, tensorboard, gpt2, id, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 1,022
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
