Это квантованная версия Instruction-pretrain/InstructLM-1.3B, созданная с использованием llama.cpp. Этот репозиторий содержит общие модели, предварительно обученные с нуля в нашей статье Предварительное обучение инструкциям: языковые модели предназначены для многозадачных учащихся под наблюдением. Мы изучаем контролируемое многозадачное предварительное обучение, предлагая предварительную подготовку инструкций — структуру, которая масштабируемо дополняет массивные необработанные корпуса парами инструкция-ответ для предварительного обучения языковых моделей. Пары инструкция-ответ генерируются эффективным синтезатором инструкций, построенным на моделях с открытым исходным кодом. В наших экспериментах мы синтезируем 200 миллионов пар инструкция-ответ, охватывающих более 40 категорий задач, чтобы проверить эффективность предварительного обучения инструкций. Предварительное обучение с инструкциями превосходит стандартное предварительное обучение как в общем предварительном обучении с нуля, так и в непрерывном предварительном обучении, адаптирующемся к предметной области. При предварительном обучении с нуля предварительная подготовка инструкций не только улучшает предварительно обученные базовые модели, но и дает больше преимуществ от дальнейшей настройки инструкций. При непрерывном предварительном обучении инструкция предварительного обучения* позволяет Llama3-8B сравниться или даже превзойти Llama3-70B. 🤗 Мы делимся нашими данными и моделями с примерами использования, смело открывайте…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, en, endpoints_compatible
Лайков: 4 | Загрузок: 246
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
