Это доработанная версия mlabonne/Marcoro14-7B-slerp DPO с использованием набора данных предпочтений Chatmldpopairs. Это улучшает производительность модели в наборе тестов Nous и Open LLM Benchmark. На данный момент это самый эффективный LLM 7B в таблице лидеров Open LLM (01.08.24). GGUF**: https://huggingface.co/mlabonne/NeuralMarcoro14-7B-GGUF LoRA: r=16 loraalpha=16 loradropout=0.05bias=»none» Tasktype=»CAUSALLM» targetmodules=[‘kproj’, ‘gateproj’, ‘vproj’, ‘upproj’, ‘qproj’, ‘oproj’, ‘downproj’] Аргументы обучения: perdevicetrainbatchsize=4gradientaccumulationsteps=4gradientcheckpointing=True Learningrate=5e-5 lrschedulertype=»cosine» maxsteps=200 optim=»pagedadamw32bit» Warmupsteps=100
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: mistral, mlabonne/Marcoro14-7B-slerp, dpo, rlhf, merge, mergekit, lazymergekit, conversational
Лайков: 39 | Загрузок: 1,274
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
