MKLLM-7B — это большая языковая модель с открытым исходным кодом для македонского языка. Модель создана на основе великолепной модели Mistral-7B-v0.1 путем постоянной предварительной подготовки текста на македонском и английском языках. Для обучения использовался корпус из около 300 миллионов токенов, повторяющихся в двух эпохах, и хотя его можно считать небольшим по сравнению с другими аналогичными проектами, полученная модель очень способна понимать и обрабатывать македонский язык. Мы построили две модели инструкций поверх базовой модели, которые демонстрируют потенциал модели. 1. MKLLM-7B-Instruct: настроенный по инструкциям, который работает лучше, чем ведущие модели того же размера: 2. MKLLM-7B-Translate: LLM в качестве реализации транслятора, который имеет весьма впечатляющие характеристики: — MKLLM-7B является базовой моделью и не предназначен для развертывания без тонкой настройки. Модель не имеет механизмов модерации. — MKLLM-7B может галлюцинировать и выдавать фактически неверные данные. Это особенно заметно при обсуждении македонских тем из-за меньшего набора обучающих данных.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: trajkovnikola
Теги: mistral, axolotl, mk, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
