Предварительно обученная генеративная языковая модель с 7 миллиардами параметров, ориентированная на способность следовать инструкциям. Эта модель была создана путем параметрически эффективной донастройки базовой модели mistralai/Mistral-7B-v0.1 на наборе данных jondurbin/airoboros-2.2.1. — Разработчик: Даниэль Фурман — Тип модели: каузальная языковая модель (clm) — Язык(и) (NLP): английский — Лицензия: Apache 2.0 — Дообучена на основе модели: mistralai/Mistral-7B-v0.1 Для проведения указанных выше тестов производительности мы используем инструмент оценки языковых моделей Eleuther.AI, ту же версию, что и в рейтинге Open LLM от Hugging Face. Этот формат доступен в виде шаблона чата через метод applychattemplate(). Вот наглядный пример: мы используем SFTTrainer из trl для донастройки LLM на наборах данных, содержащих инструкции. Здесь вы найдете код для донастройки, в котором представлен исчерпывающий обзор используемых гиперпараметров. — outputdir = «./results» — numtrainepochs = 3 — autofindbatchsize = True — gradientaccumulationsteps = 1 — optim = «pagedadamw32bit» — savestrategy = «epoch» — learningrate = 3e-4 — lrschedulertype = «cosine» — warmupratio = 0.03 — loggingstrategy = «steps» — loggingsteps = 25 — evaluationstrategy = «epoch» -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dfurman
Теги: peft, mistral, conversational
Лайков: 2 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.