Llama-eus-8B v1.0 — это базовая модель большого языка (LLM), адаптированная на основе Llama3.1-8B от Meta, специально разработанная для баскского языка. Благодаря постоянному предварительному обучению на сочетании набора данных ZelaiHandi, содержащего около 1,5 миллиардов высококачественных баскских токенов, и выбранного подмножества набора данных FineWeb, около 300 миллионов токенов, Llama-eus-8B стремится улучшить лингвистические способности на баскском языке, сохраняя при этом общие навыки английского языка. Исходная коллекция моделей Meta Llama 3.1 была обучена на 15 триллионах токенов, а некоторый многоязычный контент поддерживал семь дополнительных языков, помимо английского: французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Однако у него есть ограничения для языков с ограниченными ресурсами, таких как баскский, что приводит к ухудшению формальной лингвистической компетенции (правильное использование грамматики и словарного запаса) и функциональной лингвистической компетентности (способность понимать и использовать язык в реальных контекстах). Чтобы решить эту проблему, Мета-Ллама-3.1-8B был использован в качестве основы для Ламы-еуса-8B, который прошел специальную предварительную подготовку для улучшения этих компетенций на баскском языке. Оценки показывают, что Llama-eus-8B демонстрирует заметные улучшения по сравнению с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: orai-nlp
Теги: llama, eu, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
