MKLLM-7B — это большая языковая модель с открытым исходным кодом для македонского языка. Модель создана на основе великолепной модели Mistral-7B-v0.1 путем постоянной предварительной подготовки текста на македонском и английском языках. Для обучения использовался корпус из около 300 миллионов токенов, повторяющихся в двух эпохах, и хотя его можно считать небольшим по сравнению с другими аналогичными проектами, полученная модель очень способна понимать и обрабатывать македонский язык. Это модифицированная версия MKLLM-7B. Он был обучен с помощью MKLLM-7B, а затем выполнил полное обучение с аксолотлем, используя формат чата для разговоров. Мы протестировали модель с Llama3-8B-Instruct от Meta и Mistral-7B-Instruct-v0.3 от Mistral на наборе тестов, которые мы перевели на македонский язык, и модель работает лучше, чем обе ведущие модели в своей категории. Кроме того, эти тесты в первую очередь ориентированы на понимание, а не на измерение возможностей генерации и беглости речи. Мы считаем, что в этих категориях разница в производительности еще больше, поскольку MKLLM-7B-Instruct пишет на македонском языке гораздо более связно. Бенчмаркинг проводился с помощью:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: trajkovnikola
Теги: mistral, axolotl, conversational, mk, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
