SnakModel — это модель с 7B параметрами, специально разработанная для датского языка. Это базовый вариант: SnakModel-7B (базовый). Наши модели основаны на Llama 2, которую мы постоянно предварительно обучаем на разнообразной коллекции датских корпусов, состоящей из 350 миллионов документов и 13,6 миллиарда слов, прежде чем настраивать ее на 3,7 миллиона пар датских инструкций и ответов. Исследовательское подразделение NLPnorth в ИТ-университете Копенгагена, Дания. SnakModel поставляется в виде настроенной по инструкциям и базовой версии. Кроме того, каждая модель включает промежуточные контрольные точки (при ревизиях модели). SnakModel — это авторегрессионная языковая модель на основе преобразователя. В версии для инструкций используется контролируемая точная настройка (SFT), позволяющая следовать инструкциям на датском языке. SnakModel проходил обучение в период с января 2024 г. по сентябрь 2024 г. SnakModel предназначен для использования на датском языке. Вариант с инструкцией предназначен для чата в стиле помощника. Вариант инструкции соответствует шаблону инструкций Llama 2 (чат), в котором инструкции инкапсулированы в специальные токены, т. е. [INST] {инструкция} [/INST]. Варианты SnakModel точно настроены на датских данных. Таким образом, использование на других языках выходит за рамки. Хотя мы обнаружили, что SnakModel более опытен…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NLPnorth
Теги: llama, da, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
