GPT-fr 🇫🇷 — это модель GPT для французского языка, разработанная Quantmetry и Laboratoire de Linguistique Formelle (LLF). Мы обучаем модель на очень большом и неоднородном французском корпусе. Мы публикуем веса для следующих конфигураций: Модель можно использовать для задач генерации языка. Кроме того, многие задачи могут быть отформатированы таким образом, что выходные данные будут генерироваться непосредственно на естественном языке. Такая конфигурация может использоваться для таких задач, как автоматическое подведение итогов или ответы на вопросы. Мы очень надеемся, что нашу модель можно будет использовать как в академических, так и в промышленных целях. Эту модель можно использовать в потрясающей библиотеке 🤗 Трансформеров. Мы используем работу Shoeybi et al., (2019) и калибруем нашу модель таким образом, чтобы во время предварительного обучения или точной настройки модель могла поместиться на одном графическом процессоре NVIDIA V100 32 ГБ. Большие языковые модели имеют тенденцию повторять предвзятости, обнаруженные в наборах данных перед обучением, такие как гендерная дискриминация или создание оскорбительного контента. Чтобы ограничить изложение слишком большого количества откровенного материала, мы заранее тщательно выбираем источники. Этот процесс, подробно описанный в нашей статье, направлен на ограничение генерации оскорбительного контента из модели без выполнения ручной и произвольной фильтрации…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: asi
Теги: tf, jax, gpt2, fr, model-index, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 4,871
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
