Этот репозиторий содержит низкоуровневый адаптер для LLaMA-7b, подходящий для наборов данных в рамках проекта OpenAssistant. Вы можете увидеть результаты выборки здесь. Обратите внимание, что параметры выборки не обязательно являются оптимальными — они являются значениями по умолчанию OpenAssistant для сравнения моделей. Данная версия весов обучалась со следующими гиперпараметрами: — Epochs: 8 — Batch size: 128 — Max Length: 2048 — Learning rate: 8e-6 — Lora r: 16 — Lora Alpha: 32 — Lora target modules: qproj, kproj, vproj, oproj Модель обучалась с помощью flash attention и gradient checkpointing. — dolly15k: valsplit: 0.05 maxvalset: 300 — oasstexport: lang: «bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk» inputfilepath: 2023-04-12oasstreleasereadysynth.jsonl.gz valsplit: 0.05 — vicuna: valsplit: 0.05 maxvalset: 800 fraction: 0.8 — dolly15k: valsplit: 0.05 maxvalset: 300 — gradeschoolmathinstructions: valsplit: 0.05 — codealpaca: valsplit: 0.05 maxvalset: 250 — alpacagpt4: valsplit: 0.02 maxval_set: 250 — Разработано в рамках проекта OpenAssistant — M Каждый ход заканчивается…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jordiclive
Теги: sft, en
Лайков: 2 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.