Эта модель была создана с использованием mlabonne/Marcoro14-7B-slerp в качестве основы и доработана с помощью argilla/distilabel-intel-orca-dpo-pairs. Точная настройка с использованием следующих конкретных параметров: Шаги: 200 Скорость обучения: 5e5 Бета: 0,1 — Разработано: @decruz — Финансируется [необязательно]: моя постоянная работа — Доработано на основе модели [необязательно]: mlabonne/Marcoro14-7B-slerp Модель Nous | AGIEval | GPT4Все | ПравдивыйQA | Бигбенч | Средний | Вы можете использовать это для базового вывода. Вероятно, вы могли бы настроить это, если хотите. Вы можете создать из этого пространство или использовать базовый код Python для прямого вызова модели и выполнения выводов о ней. Было использовано следующее: Trainingargs = TrainingArguments(perdevicetrainbatchsize=4, Gradientaccumulationsteps=4, Gradientcheckpointing=True, Learningrate=5e-5, lrschedulertype=»cosine», maxsteps=200, savestrategy=»no», loggingsteps=1, outputdir=newmodel, optim=»pagedadamw32bit», Warmupsteps=100, bf16=True, report_to=»wandb», ) dpotrainer = DPOtrainer( model, refmodel, args=trainingargs, traindataset=dataset, tokenizer=tokenizer, peftconfig=peftconfig, beta=0.1, maxpromptlength=1024, maxlength=1536,) Это было обучено с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: decruz07
Теги: mistral, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.