Cedille — это проект по переносу больших языковых моделей на неанглийские языки. Борис — это авторегрессионная языковая модель с 6 параметрами, основанная на архитектуре GPT-J и обученная с использованием кодовой базы mesh-transformer-jax. Борис обучался примерно на 78 миллиардах токенов французского текста из набора данных C4. Мы начали обучение с GPT-J, который прошел обучение на The Pile. Как следствие, модель по-прежнему хорошо работает на английском языке. Борис использует немодифицированный токенизатор GPT-2. На данный момент самый простой способ протестировать модель — использовать нашу общедоступную игровую площадку. Cedille — относительно крупная модель, и ее эксплуатация в производстве может оказаться дорогостоящей. Рассмотрите возможность связаться с нами для доступа к API по адресу hello@cedille.ai. По вопросам индивидуальной разработки свяжитесь с нами по адресу hello@cedille.ai.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Cedille
Теги: gptj, causal-lm, fr, endpoints_compatible
Лайков: 39 | Загрузок: 1,068
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
