Вот список используемых наборов данных: Dolphin Open-Platypus * Смешанная стратегия OpenOrca: 100%Open-Platypus + ~1%Dolphin(GPT-4) + ~1%OpenOrca(GPT-4) https://github.com/hiyouga/LLaMA-Efficient-Tuning Мы добавляем поддержку наборов данных flashattention2 и ORCA с некоторыми небольшими изменениями. Мы попробовали два метода, чтобы вернуть адаптер к базовой модели: https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/src/exportmodel.py * https://github.com/jondurbin/qlora/blob/main/qmerge.py. Как правило, второй вариант получит лучшие оценки ARC(+0,15) и Truthful_QA(+0,3), а другой two(MMLU(-0.2) и HelloSwag(-0.2)) кажется выродившимся (только для моей модели). На эту модель распространяются ограничения лицензии и использования оригинальной модели Llama-2. И поставляется без каких-либо гарантий или гарантий любого рода. «Лама 2» и доработанные варианты — это новая технология, использование которой сопряжено с риском. Тестирование, проведенное на сегодняшний день, проводилось на английском языке и не охватило и не могло охватить все сценарии. По этим причинам, как и в случае со всеми LLM, потенциальные результаты Llama 2 и любого точно настроенного варианта невозможно предсказать заранее, и в некоторых случаях модель может давать неточные, предвзятые или другие нежелательные ответы пользователю…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fangloveskari
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 50 | Загрузок: 896
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
