Предварительно обученная генеративная языковая модель с примерно 47 миллиардами параметров, ориентированная на возможности следования инструкциям. Эта модель была построена путем точной настройки параметров базовой модели mistralai/Mixtral-8x7B-v0.1 на первых 40 тысячах строк в каждом из наборов данных jondurbin/airoboros-2.2.1, Open-Orca/SlimOrca и Garage-bAInd/Open-Platypus. — Разработано: Дэниелом Фурманом — Тип модели: Каузальная языковая модель (clm) — Язык(и) (NLP): Английский — Лицензия: Apache 2.0 — Точная настройка на основе модели: mistralai/Mixtral-8x7B-v0.1 Для запуска тестов производительности, описанных выше, мы используем программу оценки языковой модели Eleuther.AI, ту же версию, что и открытая таблица лидеров LLM Hugging Face. Этот формат доступен в виде шаблона чата с помощью метода applychattemplate(). Вот наглядный пример: мы используем SFTTrainer от trl для точной настройки LLM для наборов данных, следующих инструкциям. См. здесь код тонкой настройки, который содержит исчерпывающее представление об используемых гиперпараметрах. — outputdir = «./results» — numtrainepochs = 2 — autofindbatchsize = True -gradientaccumulationsteps = 2 — optim = «pagedadamw32bit» — savestrategy = «epoch» — скорость обучения = 3e-4 — lrschedulertype = «cosine» — Warmupratio = 0,03 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dfurman
Теги: peft, mistral, conversational, model-index
Лайков: 9 | Загрузок: 68
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
