Это квантованная версия Instruction-Pretrain/Instruction-Synthesizer, созданная с использованием llama.cpp. Этот репозиторий содержит контекстно-ориентированный синтезатор инструкций из нашей статьи «Предварительное обучение инструкций: языковые модели являются контролируемыми многозадачными учащимися». Мы изучаем контролируемое многозадачное предварительное обучение, предлагая предварительную подготовку инструкций — структуру, которая масштабируемо дополняет массивные необработанные корпуса парами инструкция-ответ для предварительного обучения языковых моделей. Пары инструкция-ответ генерируются эффективным синтезатором инструкций, построенным на моделях с открытым исходным кодом. В наших экспериментах мы синтезируем 200 миллионов пар инструкция-ответ, охватывающих более 40 категорий задач, чтобы проверить эффективность предварительного обучения инструкций. Предварительное обучение с инструкциями превосходит стандартное предварительное обучение как в общем предварительном обучении с нуля, так и в непрерывном предварительном обучении, адаптирующемся к предметной области. При предварительном обучении с нуля предварительная подготовка инструкций не только улучшает предварительно обученные базовые модели, но и дает больше преимуществ от дальнейшей настройки инструкций. При непрерывном предварительном обучении инструкция предварительного обучения* позволяет Llama3-8B сравниться или даже превзойти Llama3-70B. 🤗 Мы делимся нашими данными и моделями с примерами использования, не стесняйтесь…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, en, endpoints_compatible
Лайков: 7 | Загрузок: 257
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
