Llama-3-SEC-Base — это современная предметно-ориентированная модель большого языка, обученная на обширном массиве данных SEC (Комиссии по ценным бумагам и биржам). Основанная на мощной модели Meta-Llama-3-70B-Instruct, Llama-3-SEC-Base была разработана для предоставления беспрецедентных возможностей понимания и анализа для финансовых специалистов, инвесторов, исследователей и всех, кто работает с документами SEC и соответствующими финансовыми данными. Эта контрольная точка не включает контролируемую точную настройку (SFT) и представляет собой строго нашу модель CPT, объединенную с Llama-3-70B-Instruct. Вариант, оптимизированный для целей чата, см. в разделе Llama-3-SEC-Chat. — Базовая модель: Meta-Llama-3-70B-Instruct — Данные обучения: это промежуточная контрольная точка нашей окончательной модели, которая на данный момент использовала 20 миллиардов токенов. Полная модель все еще находится в процессе обучения. Окончательная модель обучается с использованием 72 миллиардов токенов данных документов SEC, тщательно смешанных с 1 миллиардом токенов общих данных из набора данных RedPajama компании Together AI: RedPajama-Data-1T для поддержания баланса между знаниями, специфичными для предметной области, и общим пониманием языка. Метод обучения: непрерывное предварительное обучение (CPT) с использованием платформы Megatron-Core, а затем…
Модальности:
Генерация текста
Области применения:
Финансы
Задача: Генерация текста
Автор: arcee-ai
Теги: llama, large_language_model, finance, sec_data, continual_pre_training, model_merging, en, text-generation-inference
Лайков: 15 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
