Этот репозиторий содержит контекстно-ориентированный синтезатор инструкций из нашей статьи «Предварительное обучение инструкциям: языковые модели являются контролируемыми многозадачными учащимися». Мы изучаем контролируемое многозадачное предварительное обучение, предлагая предварительную подготовку инструкций — структуру, которая масштабируемо дополняет массивные необработанные корпуса парами инструкция-ответ для предварительного обучения языковых моделей. Пары инструкция-ответ генерируются эффективным синтезатором инструкций, построенным на моделях с открытым исходным кодом. В наших экспериментах мы синтезируем 200 миллионов пар инструкция-ответ, охватывающих более 40 категорий задач, чтобы проверить эффективность предварительного обучения инструкций. Предварительное обучение с инструкциями превосходит стандартное предварительное обучение как в общем предварительном обучении с нуля, так и в непрерывном предварительном обучении, адаптирующемся к предметной области. При предварительном обучении с нуля предварительная подготовка инструкций не только улучшает предварительно обученные базовые модели, но и дает больше преимуществ от дальнейшей настройки инструкций. При непрерывном предварительном обучении инструкция предварительного обучения* позволяет Llama3-8B сравниться или даже превзойти Llama3-70B. ************************* Обновления ********************** 23 января 2026 г.: выпущен LLM-in-Sandbox для выявления общей агентской разведки, где данные инструкций…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: instruction-pretrain
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 79 | Загрузок: 43
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
