Мы представляем Latxa, семейство больших языковых моделей баскского языка с числом параметров от 7 до 70 миллиардов. Latxa основана на Llama 2, предварительное обучение которой мы продолжаем на новом баскском корпусе, состоящем из 4,3 млн документов и 4,2 млрд токенов. По нашей обширной оценке, Latxa значительно превосходит все предыдущие открытые модели, с которыми мы сравниваем. Кроме того, он конкурирует с GPT-4 Turbo по владению и пониманию языка, несмотря на отставание в понимании прочитанного и наукоёмких задачах. Как семейство моделей Latxa, так и наши новые корпуса для предварительного обучения и наборы оценочных данных общедоступны по открытым лицензиям. Наш пакет позволяет воспроизводить исследования методов построения LLM для языков с низким уровнем ресурсов — 📒 Сообщение в блоге: Latxa: модель открытого языка и пакет оценки для баскского языка — 📖 Документ: Latxa: модель открытого языка и пакет оценки для баскского языка — 💻 Код: hitz-zentroa/latxa Latxa — это семейство моделей большого языка (LLM), основанных на моделях LLaMA компании Meta. Текущие LLM демонстрируют невероятную производительность для языков с высоким уровнем ресурсов, таких как английский, но в случае баскского языка и других языков с низким уровнем ресурсов их производительность близка к случайному угадыванию. Эти…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HiTZ
Теги: llama, eu, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 166
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
