Это норвежский адаптер, созданный путем тонкой настройки LLaMA-7B на наборе данных норвежской альпаки. Для генерации promtp по-прежнему требуется английский шаблон: набор данных представляет собой перевод на норвежский букмол файла alpacadatacleaned.json (чистая версия набора данных Alpaca, созданная в Стэнфорде) с использованием модели OpenAI gpt-3.5-turbo. Мы перевели, используя подсказку по всему образцу, а не по строкам, что привело к получению более связных кортежей (инструкция, ввод, вывод) и стоило около 60,0 долларов США. Этот набор данных нельзя использовать для создания моделей, которые каким-либо образом конкурируют с OpenAI. Для точной настройки модели LLaMA мы использовали код, доступный на Alpaca Lora, который предоставляет код для точной настройки модели LLaMA с использованием PEFT из Hugging Face. Мы выполнили точную настройку для 3 эпох, используя длину последовательности 512 без накопления градиента на одном A6000 с 48 ГБ видеопамяти в течение 12 часов поверх LLaMA-7B. — LLaMA — Стэнфордская альпака — Норвежская альпака — Альпака LoRA — ChatGPT — Обнимающее лицо Для обучения мы использовали графический процессор Nvidia A6000 с 48 ГБ видеопамяти. Для оценки вы можете использовать T4.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NbAiLab
Теги: peft, no, nb
Лайков: 5 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
