NorMistral-7b-warm — это большая норвежская языковая модель, инициализированная из Mistral-7b-v0.1 и постоянно предварительно обучаемая в общей сложности на 260 миллиардах токенов подслов (с использованием шести повторений открытых норвежских текстов). Эта модель является частью семейства NORA.LLM, разработанного в сотрудничестве с Группой языковых технологий Университета Осло, проектом Высокопроизводительные языковые технологии (HPLT), Национальной библиотекой Норвегии и Университетом Турку. Все модели предварительно обучены на одном и том же наборе данных и с одним и тем же токенизатором. НорМистраль-7б-теплый имеет более 7 миллиардов параметров и основан на архитектуре «Мистраль». Семейство языковых моделей NORA.LLM включает (на данный момент): — NorMistral-7b-warm — LLM, инициализированный из Mistral-7b-v0.1 и постоянно предварительно обучаемый на норвежских данных; — NorMistral-7b-scratch — LLM на базе Mistral, предварительно обученный с нуля на норвежских данных; — NorBLOOM-7b-scratch — LLM на основе BLOOM, предварительно обученный с нуля на норвежских данных. Отказ от ответственности: эта модель предварительно обучена на необработанных текстовых данных (в основном из Интернета). Он не настроен на выполнение инструкций и может генерировать вредоносные завершения после неуместных запросов пользователя. Он предназначен в первую очередь…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: norallm
Теги: gguf, mistral, gpt, generative, no, nb, nn, text-generation-inference
Лайков: 30 | Загрузок: 5,304
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
