Предварительно обученная генеративная языковая модель с 7 миллиардами параметров, ориентированная на возможности следования инструкциям. Эта модель была построена путем точной настройки базовой модели mistralai/Mistral-7B-v0.1 с эффективными параметрами для первых 20 тыс. строк в каждом из наборов данных jondurbin/airoboros-2.2.1, Open-Orca/SlimOrca и Garage-bAInd/Open-Platypus. — Разработано: Дэниел Фурман — Тип модели: Каузальная языковая модель (clm) — Язык(и) (NLP): английский — Лицензия: Apache 2.0 — Доработано на основе модели: mistralai/Mistral-7B-v0.1 Этот формат доступен в виде шаблона чата с помощью метода applychattemplate(). Вот наглядный пример: мы используем SFTTrainer от trl для точной настройки LLM для наборов данных, следующих инструкциям. См. здесь код тонкой настройки, который содержит исчерпывающее представление об используемых гиперпараметрах. — outputdir = «./results» — numtrainepochs = 2 — autofindbatchsize = True — Gradientaccumulationsteps = 2 — optim = «pagedadamw32bit» — savestrategy = «epoch» — Learningrate = 3e-4 — lrschedulertype = «cosine» — Warmupratio = 0.03 — loggingstrategy = «steps» — loggingsteps = 25 — Assessmentstrategy = «нет» — bf16 = True — Quantmethod: bitsandbytes — loadin8bit: False — loadin4bit: True…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dfurman
Теги: peft, mistral, conversational, model-index
Лайков: 5 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
