Этот адаптер был создан с использованием библиотеки PEFT и позволил точно настроить базовую модель BigScience/BLOOM 7B1 на наборе данных Alpaca Стэнфорда с помощью метода LoRA. BigScience Большая многоязычная языковая модель открытого доступа с открытым доступом BigScience Alpaca представляет собой набор данных из 52 000 инструкций и демонстраций, созданных движком OpenAI text-davinci-003. Эти данные инструкций можно использовать для настройки инструкций для языковых моделей и для того, чтобы языковая модель лучше следовала инструкциям. Авторы использовали конвейер генерации данных из платформы Self-Instruct и внесли следующие изменения: — Механизм text-davinci-003 для генерации данных инструкций вместо davinci. — Была написана новая подсказка, в которой явно указано требование генерации инструкций для text-davinci-003. — Использовалось гораздо более агрессивное пакетное декодирование, т. е. генерация сразу 20 инструкций, что значительно снизило стоимость генерации данных. — Конвейер генерации данных был упрощен за счет исключения разницы между инструкциями по классификации и неклассификации. — Для каждой инструкции создавался только один экземпляр вместо 2–3 экземпляров, как в режиме «Самообучение». Этот…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mrm8488
Теги: alpaca, bloom, LLM, en
Лайков: 75 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
