Доработанный OpenLLaMA-7B с нецензурированным/нефильтрованным набором данных разговоров Волшебника-Викуньи (первоначально из ehartford/wizardvicuna70k_unfiltered). Для тонкой настройки использовал QLoRA. Обучение в течение одной эпохи на экземпляре графического процессора емкостью 24 ГБ (NVIDIA A10G) заняло около 18 часов. Для приложения чата Gradio, использующего эту модель, клонируйте это HuggingFace Space и запустите его поверх экземпляра графического процессора. Базовый экземпляр графического процессора T4 будет работать. Поскольку это был мой первый опыт тонкой настройки LLM, я также написал сопроводительный пост в блоге о том, как я проводил обучение 🙂
Модальности:
Генерация текста
Задача: Генерация текста
Автор: georgesung
Теги: tensorboard, llama, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
