«Одержимы потенциалом GenAI? Я тоже! Давайте творить вместе 🚀 https://www.linkedin.com/in/pankajam» Модель OpenLLaMa-13B, обученная объяснению настроенных наборов данных, созданная с использованием инструкций и входных данных из наборов данных WizardLM, Alpaca и Dolly-V2 и применения подходов к построению наборов данных Orca Research Paper. Мы создаем настроенный набор данных WizardLM ~70 000, набор данных Alpaca ~ 52 000 и набор данных Dolly-V2 ~ 15 000, созданный с использованием подходов из Orca Research Paper. Мы используем все 15 системных инструкций, представленных в Orca Research Paper. для создания пользовательских наборов данных, в отличие от подходов к настройке ванильных инструкций, используемых в исходных наборах данных. Это помогает модели ученика, также известной как эта модель, изучать мыслительный процесс у модели учителя, которой является ChatGPT (версия gpt-3.5-turbo-0301). Ниже приведен пример использования системного приглашения перед каждой инструкцией. Конфигурации обучения представлены в таблице ниже. Обучение проводится на 8 графических процессорах A100 (80G) и длится около 15 часов по цене 180 долларов США с использованием Lambda Labs. Мы использовали DeepSpeed с полностью сегментированным параллелизмом данных, также известным как ZeRO stage 3, путем написания собственных сценариев точной настройки и использования части кода обучения модели…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: pankajmathur
Теги: llama, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 100 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
