Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 на наборе данных HuggingFaceH4/no_robots для инструкций, следующих за последующей задачей. Модель была загружена на 8 бит и точно настроена на наборе данных LIMA с использованием метода LoRA PEFT с библиотекой Huggingface/peft и trl/sft для одной эпохи на 1 графическом процессоре A100 (40 ГБ). Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер пакета поезда: 2 — размер пакета evalbatch: 8 — начальный размер: 66 — градиентаккумуляция шагов: 64 — общий размер пакета поезда: 128 — оптимизатор: Адам с бета-версиями = (0,9,0,999) и эпсилон = 1e-08 — lrschedulertype: косинус — lrschedulerwarmupratio: 0,03 — numepochs: 2 — смешанная точность обучения: Native AMP — Transformers 4.35.0.dev0 — Pytorch 2.1.0+cu118 — Наборы данных 2.14.6 — Токенизаторы 0.14.1
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: mrm8488
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
