Модель большого языка DictaLM-2.0-Instruct (LLM) представляет собой усовершенствованную версию генеративной модели DictaLM-2.0 с использованием различных наборов данных разговоров. Подробную информацию об этой модели можно найти в нашем блоге или в техническом отчете. Это настроенная на инструкции модель, предназначенная для чата в формате GGUF для использования с LM Studio или llama.cpp. Опробовать модель на живой демо-версии можно здесь. Доступны две версии: точность float16 (.F16.gguf) и 4-битная квантованная точность (.Q4KM.gguf). Вы можете просмотреть и получить доступ к полной коллекции базовых/инструктированных неквантованных/квантованных версий DictaLM-2.0 здесь. Чтобы использовать точную настройку инструкций, ваше приглашение должно быть окружено токенами [INST] и [/INST], за которыми следует разрыв строки. Самая первая инструкция должна начинаться с идентификатора начала предложения. Следующие инструкции не должны. Генерация помощника будет завершена по идентификатору токена конца предложения. Этот формат доступен в виде шаблона чата с помощью метода applychattemplate(): при использовании с LM Studio просто найдите в хабе «dictalm2.0-instruct-GGUF», и должна появиться модель в обеих точности. Убедитесь, что шаблон чата установлен правильно —…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dicta-il
Теги: gguf, mistral, instruction-tuned, en, he, conversational
Лайков: 7 | Загрузок: 1,288
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
