1. Детали модели 2. Использование 3. Использование 4. Предвзятость, риски и ограничения 5. Следующие шаги 6. Цитирование > Большие языковые модели (LLM) демонстрируют замечательную способность понимать, рассуждать и генерировать следующие инструкции на естественном языке. Однако развитие LLM было в первую очередь сосредоточено на языках с высокими ресурсами, таких как английский, тем самым ограничивая их применимость и исследования на других языках. Следовательно, мы представляем PolyLM, многоязычную программу LLM, обученную на 640 миллиардах (B) токенов, доступную в двух размерах модели: 1,7B и 13B. Чтобы расширить его многоязычные возможности, мы 1) интегрируем двуязычные данные в данные обучения; и 2) принять стратегию обучения по учебной программе, которая увеличит долю неанглоязычных данных с 30% на первом этапе до 60% на заключительном этапе во время предварительного обучения. Кроме того, мы предлагаем многоязычный метод самообучения, который автоматически генерирует 132,7 тыс. разнообразных многоязычных инструкций для точной настройки модели. Чтобы оценить производительность модели, мы собираем несколько существующих многоязычных задач, включая многоязычное понимание, ответы на вопросы, генерацию и перевод. Обширные эксперименты показывают, что PolyLM превосходит другие модели с открытым исходным кодом, такие как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DAMO-NLP-MT
Теги: gpt2, custom_code, zh, en, es, fr, pt, ru
Лайков: 53 | Загрузок: 829
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
