Этот адаптер был создан с помощью библиотеки PEFT и позволил точно настроить базовую модель BIGSCIENCE/BLOOM 7B1 в наборе данных Alpaca Dataset Стэнфорда (переведенном на испанский язык) с использованием метода LoRA. BigScience Large Open-science Open-access Multilingual Language Model Alpaca — это набор данных из 52 000 инструкций и демонстраций, сгенерированных движком OpenAI text-davinci-003. Эти данные инструкций могут быть использованы для проведения настройки инструкций для языковых моделей и улучшения следования языковой модели инструкциям. Авторы построили на конвейере генерации данных из фреймворка Self-Instruct и внесли следующие модификации: — Движок text-davinci-003 для генерации данных команд вместо davinci. — Была написана новая подсказка, которая явно давала требование генерации инструкции для text-davinci-003. — Использовалось гораздо более агрессивное пакетное декодирование, т.е. генерация сразу 20 инструкций, что значительно снизило стоимость генерации данных. — Конвейер генерации данных был упрощен путем отбрасывания разницы между классификационными и неклассификационными инструкциями. — Для каждой команды был создан только один экземпляр, а не от 2 до 3 экземпляров, как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: platzi
Теги: alpaca, bloom, LLM, es, en
Лайков: 2 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.