Curió 1.1B — это адаптированная к португальскому языку языковая модель, созданная путем непрерывной предварительной подготовки TinyLlama 1.1B (1T), первоначально обученной на 1 триллионе английских токенов, на 150B португальских токенов из корпуса ClassiCC-PT. Эта модель была разработана для изучения влияния языковых корпусов на адаптацию базовой модели, обученной английскому языку, к португальскому языку, что привело к повышению производительности по португальским бенчмаркам без масштабной переподготовки с нуля. Оценивается по бенчмарку Poeta — 14 разнообразных португальских заданий (RTE, STS, экзамены MCQ, анализ настроений, QA и т. д.) — с использованием нормированной предпочтительной метрики (npm). Обратите внимание, что Curio 1.1B не обучен для использования в качестве модели чата. Мы благодарим программу Google TRC, которая щедро предоставила нам необходимые ресурсы для развития этого исследования.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ClassiCC-Corpus
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
