— Название модели: Flan-UL2-Alpaca-LoRA — Тип модели: — Генерация Text2Text — Родительская модель: google/flan-ul2 — Набор обучающих данных: Alpaca — Язык: английский — Платформа: PyTorch — Версия модели: 1.0 Мы берем настроенные с помощью инструкций модели Flan (обученные на наборах академических данных) и выполняем передачу стилей с использованием набора данных Alpaca. Мы опубликовали код для точной настройки моделей Seq2Seq LORA вместе со статьей с пошаговым описанием кода здесь: — https://github.com/vmware-labs/research-and-development-artificial-intelligence-lab/tree/main/instruction-tuning/peft-seq2seq — https://medium.com/vmware-data-ml-blog/lora-finetunning-of-ul-2-and-t5-models-35a08863593d Мы доработали модель google/flan-ul2 на наборе данных Альпаки с помощью PEFT-LORA. — Родительская модель (google/flan-ul2): Apache 2.0. — Набор данных (Alpaca): cc-by-4.0 — text-davinci-003 (используется для создания Alpaca): Условия использования OpenAI. Использование шаблона подсказки Alpaca может привести к лучшим результатам для определенных подсказок, поскольку модель была обучена с использованием приведенного ниже шаблона. Модель была обучена на графических процессорах 3xV100 с использованием PEFT-LORA и гиперпараметров Deepspeed: скорость обучения = 3e-4 на размер пакета устройства = 2 шага градиента накопления = 21 * эпохи = 3. Модель основана на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: VMware
Теги: t5, text2text-generation, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
