> TL;DR: Llama-Primus-Base — это базовая модель, основанная на Llama-3.1-8B-Instruct, постоянно предварительно обучаемая на Primus-Seed (0.2B) и Primus-FineWeb (2.57B). Primus-Seed — это высококачественный набор текстовых данных по кибербезопасности, созданный вручную, а Primus-FineWeb состоит из текстов по кибербезопасности, отфильтрованных из FineWeb, усовершенствованной версии Common Crawl. Благодаря предварительному обучению на таком крупномасштабном корпусе кибербезопасности компания достигает улучшения совокупных оценок по нескольким тестам кибербезопасности на 🚀15,88%, демонстрируя эффективность предварительного обучения, ориентированного на кибербезопасность. 🔥 Более подробную информацию можно найти в статье: [[📄Paper]](https://arxiv.org/abs/2502.11191). В последние годы модели большого языка (LLM) продемонстрировали замечательную универсальность и нашли многообещающее применение в специализированных областях, таких как финансы, право и биомедицина. Однако в сфере кибербезопасности мы заметили отсутствие наборов данных с открытым исходным кодом, специально предназначенных для предварительного обучения LLM, хотя многие исследования показали, что LLM приобретают свои знания во время предварительного обучения. Чтобы восполнить этот пробел, мы представляем коллекцию наборов данных, охватывающих несколько этапов обучения LLM в области кибербезопасности, включая предварительное обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: trendmicro-ailab
Теги: llama, cybersecurity, pretraining, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 105
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
