SnakModel — это модель с 7B параметрами, специально разработанная для датского языка. Это вариант с настройкой инструкций: SnakModel-7B (instruct). Наши модели основаны на Llama 2, которую мы постоянно предварительно обучаем на разнообразной коллекции датских корпусов, состоящей из 350 миллионов документов и 13,6 миллиарда слов, прежде чем настраивать ее на 3,7 миллиона пар датских инструкций и ответов. Исследовательское подразделение NLPnorth в ИТ-университете Копенгагена, Дания. SnakModel поставляется в виде настроенной по инструкциям и базовой версии. Кроме того, каждая модель включает промежуточные контрольные точки (при ревизиях модели). Для локального запуска модели мы также предоставляем 4-битную квантованную версию, оптимизированную для Apple Silicon, по адресу NLPnorth/snakmodel-7b-instruct-mlx-4bit/. Только текст с инструкциями по шаблону [INST] {instruction} [/INST]. Вот фрагмент кода с помощью applychattemplate, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое. SnakModel — это авторегрессионная языковая модель на основе преобразователя. В версии для инструкций используется контролируемая точная настройка (SFT), позволяющая следовать инструкциям на датском языке. SnakModel проходил обучение в период с января 2024 г. по сентябрь 2024 г. SnakModel предназначен для использования на датском языке. …
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: NLPnorth
Теги: llama, conversational, da, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 190
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
