Эта модель представляет собой доработанную версию mistralai/Mistral-7B-v0.1 в наборе данных FreedomIntelligence/Evol-Instruct-Chinese-GPT4. В наборе оценок он достигает следующих результатов: — Потеря: 0,9519. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер пакета поезда: 2 — размер пакета оценки: 2 — начальное значение: 42 — шаги градиента: 4 — общий размер пакета поезда: 8 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — numepochs: 1 — Transformers 4.37.0.dev0 — Pytorch 2.1.2+cu121 — Наборы данных 2.16.0 — Токенизаторы 0.15.0 Во время обучения использовалась следующая конфигурация квантования битов и байтов: — quantmethod: bitsandbytes — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: Нет — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcompute_dtype: bfloat16
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: s3nh
Теги: peft, mistral, generated_from_trainer, zh, en
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
