Это квантованная версия Instruction-pretrain/finance-Llama3-8B, созданная с использованием llama.cpp. Этот репозиторий содержит финансовую модель, разработанную на основе Llama3-8B в нашей статье Предварительное обучение инструкциям: языковые модели предназначены для многозадачных учащихся под присмотром. Мы изучаем контролируемое многозадачное предварительное обучение, предлагая предварительную подготовку инструкций — структуру, которая масштабируемо дополняет массивные необработанные корпуса парами инструкция-ответ для предварительного обучения языковых моделей. Пары инструкция-ответ генерируются эффективным синтезатором инструкций, построенным на моделях с открытым исходным кодом. Предварительное обучение с инструкциями превосходит стандартное предварительное обучение как в общем предварительном обучении с нуля, так и в непрерывном предварительном обучении, адаптирующемся к предметной области. При предварительном обучении с нуля предварительная подготовка инструкций не только улучшает предварительно обученные базовые модели, но и дает больше преимуществ от дальнейшей настройки инструкций. Благодаря постоянному предварительному обучению, предварительное обучение инструкциям позволяет Llama3-8B сравниться или даже превзойти Llama3-70B.** 🤗 Мы делимся нашими данными и моделями с примерами использования, не стесняйтесь открывать любые вопросы или обсуждения! 🤗 — Синтезатор контекстно-ориентированных инструкций: синтезатор инструкций — Данные точной настройки для синтезатора:…
Модальности:
Генерация текста
Области применения:
Финансы
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, finance, en, endpoints_compatible
Лайков: 16 | Загрузок: 1,043
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
