Это испанский адаптер, созданный путем тонкой настройки LLaMA-7B на наборе данных испанской альпаки. Пока PEFT не будет полностью поддерживаться в конвейерах Hugginface, для генерации мы можем либо консолидировать веса LoRA в веса модели LLaMA, либо использовать метод Generate() адаптера. Помните, что для приглашения по-прежнему требуется английский шаблон: набор данных представляет собой перевод на испанский язык alpacadatacleaned.json (чистая версия набора данных Alpaca, созданная в Стэнфорде) с использованием модели OpenAI gpt-3.5-turbo. Мы перевели, используя подсказку по всему образцу, а не по строкам, что привело к получению более связных кортежей (инструкция, ввод, вывод) и стоило около 60 долларов США. Этот набор данных нельзя использовать для создания моделей, которые каким-либо образом конкурируют с OpenAI. Для точной настройки модели LLaMA мы использовали код, доступный на Alpaca Lora, который предоставляет код для точной настройки модели LLaMA с использованием PEFT из Hugging Face. Мы выполнили точную настройку для 3 эпох, используя длину последовательности 512 без накопления градиента на одном A6000 с 48 ГБ видеопамяти в течение 12 часов поверх LLaMA-7B. — LLaMA — Стэнфордская альпака — BERTIN Alpaca — Alpaca LoRA — ChatGPT — Hugging Face Для обучения мы использовали графический процессор Nvidia A6000 с 48 ГБ видеопамяти. Для оценки вы можете…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bertin-project
Теги: peft, es
Лайков: 4 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
