Модель Open_LLaMA-3B, обученная объяснению настроенных наборов данных, созданная с использованием инструкций и входных данных из наборов данных Alpaca и с применением подходов к построению наборов данных Orca Research Paper. Мы создаем настроенный набор данных Alpaca ~52 тыс., созданный с использованием подходов Orca Research Paper. Мы используем все 15 системных инструкций, представленных в Orca Research Paper. для создания пользовательских наборов данных, в отличие от подходов к настройке ванильных инструкций, используемых в исходных наборах данных. Это помогает модели ученика, также известной как эта модель, изучать мыслительный процесс у модели учителя, которой является ChatGPT (версия gpt-3.5-turbo-0301). Ниже приведен пример использования системного приглашения перед каждой инструкцией. Конфигурации обучения представлены в таблице ниже. Обучение проводится на 4 графических процессорах A600 (50G) и длится около 20 часов по цене 66 долларов США с использованием Lambda Labs. Мы использовали подходы DeepSpeed с Zero-3 для параллельного обучения графических процессоров, написав наши собственные сценарии тонкой настройки, а также используя часть кода обучения модели, предоставленного замечательным репозиторием OpenAlpaca. P.S. Я #открыт для работы и #сотрудничества. Если вы можете помочь, свяжитесь со мной по адресу www.linkedin.com/in/pankajam. Следующие цели: 1) Попробовать больше данных, Dolly V2,…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: pankajmathur
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
