NorMistral-7b-scratch — это большая модель норвежского языка, предварительно обученная с нуля на 260 миллиардах токенов подслов (с использованием шести повторений открытых норвежских текстов). Эта модель является частью семейства NORA.LLM, разработанного в сотрудничестве с Группой языковых технологий Университета Осло, проектом Высокопроизводительные языковые технологии (HPLT), Национальной библиотекой Норвегии и Университетом Турку. Все модели предварительно обучены на одном и том же наборе данных и с одним и тем же токенизатором. NorMistral-7b-scratch имеет более 7 миллиардов параметров и основан на архитектуре Mistral. Семейство языковых моделей NORA.LLM включает (на данный момент): — NorMistral-7b-warm — LLM, инициализированный из Mistral-7b-v0.1 и постоянно предварительно обучаемый на норвежских данных; — NorMistral-7b-scratch — LLM на базе Mistral, предварительно обученный с нуля на норвежских данных; — NorBLOOM-7b-scratch — LLM на основе BLOOM, предварительно обученный с нуля на норвежских данных. Отказ от ответственности: эта модель предварительно обучена на необработанных текстовых данных (в основном из Интернета). Он не настроен на выполнение инструкций и может генерировать вредоносные завершения после неуместных запросов пользователя. В первую очередь он предназначен для исследовательских целей. Модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: norallm
Теги: gguf, mistral, gpt, generative, no, nb, nn, text-generation-inference
Лайков: 9 | Загрузок: 2,164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
