Это модель, основанная на мистрале, обученная на большом количестве кода и диалоговых данных. Целью этой модели было сохранить способности Mistralai/Mistral-7B-Instruct-v0.2, одновременно улучшив его способность рассуждать. Точная настройка моделей инструкций оказывается сложной задачей, когда целью является создание модели, не предназначенной для конкретной задачи. В частности, точная настройка модели инструкций часто приводит к деструктивному забыванию в результирующей модели. Вот почему большинство тонких настроек выбирают базовую (неинструктирующую) языковую модель. Модели серии Rubra-v0.1 направлены на добавление желаемых характеристик, таких как возможности многоходового чата, сохраняя при этом знания, полученные в моделях инструкций. Ваше приглашение должно быть окружено токенами [INST] и [/INST]. Самая первая инструкция должна начинаться с идентификатора начала предложения. Следующие инструкции не должны. Генерация помощника будет завершена по идентификатору токена конца предложения. Этот формат доступен в виде шаблона чата с помощью метода applychattemplate(): Во время обучения использовались следующие гиперпараметры: — скорость обучения: 3e-05 — trainbatchsize: 1 — evalbatchsize: 1 — семя: 42 — GradientaccumulationSteps: 12 — Totaltrainbatchsize: 12 — оптимизатор: Адам с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sanjay920
Теги: mistral, freeze, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
