Этот репозиторий содержит финансовую модель, разработанную на основе Llama3-8B в нашей статье «Предварительное обучение инструкциям: языковые модели предназначены для многозадачных учащихся под присмотром». Мы изучаем контролируемое многозадачное предварительное обучение, предлагая предварительную подготовку инструкций — структуру, которая масштабируемо дополняет массивные необработанные корпуса парами инструкция-ответ для предварительного обучения языковых моделей. Пары инструкция-ответ генерируются эффективным синтезатором инструкций, построенным на моделях с открытым исходным кодом. Предварительное обучение с инструкциями превосходит стандартное предварительное обучение как в общем предварительном обучении с нуля, так и в непрерывном предварительном обучении, адаптирующемся к предметной области. При предварительном обучении с нуля предварительная подготовка инструкций не только улучшает предварительно обученные базовые модели, но и дает больше преимуществ от дальнейшей настройки инструкций. При непрерывном предварительном обучении предварительное обучение инструкциям позволяет Llama3-8B сравниться или даже превзойти Llama3-70B.** ************************* Обновления ********************** 23 января 2026 г.: выпущен LLM-in-Sandbox для выявления общего агентского интеллекта, где данные предварительного обучения инструкциям достигают надежного обобщения в агентном RL! 30.11.2024: Выпущена мультимодальная версия синтезатора инструкций: Visual…
Модальности:
Генерация текста
Области применения:
Финансы Следование инструкциям
Задача: Генерация текста
Автор: instruction-pretrain
Теги: llama, finance, en, text-generation-inference, endpoints_compatible
Лайков: 75 | Загрузок: 12,853
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
