MaLA-500 — это новая модель большого языка, предназначенная для охвата широкого диапазона из 534 языков. Эта модель основана на LLaMA 2 7B и объединяет непрерывное предварительное обучение с расширением словарного запаса с расширенным размером словарного запаса до 260 164 и адаптацией низкого ранга LoRA. — Продолжение предварительной подготовки: улучшает способность модели адаптироваться к широкому спектру языков. — Адаптация низкого ранга LoRA: адаптация низкого ранга LoRA уточняет возможности адаптации модели. — Расширение словарного запаса: MaLA-500 может похвастаться расширенным словарным запасом — 260 164. — Многоязычное владение: обучение на Glot500-c, охватывающем 534 языка.
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: MaLA-LM
Теги: multilingual, endpoints_compatible
Лайков: 59 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
