> TL;DR: Llama-Primus-Base — это базовая модель, основанная на Llama-3.1-8B-Instruct, постоянно предварительно обученная на Primus-Seed (0.2B) и Primus-FineWeb (2.57B). Primus-Seed — это высококачественный, вручную подобранный текстовый набор данных по кибербезопасности, в то время как Primus-FineWeb состоит из текстов по кибербезопасности, отфильтрованных из FineWeb, усовершенствованной версии Common Crawl. Благодаря предварительному обучению на таком крупномасштабном корпусе кибербезопасности он достигает 🚀15,88% улучшения агрегированных баллов по нескольким тестам кибербезопасности, демонстрируя эффективность предварительного обучения по кибербезопасности. 🔥 Для получения более подробной информации, пожалуйста, обратитесь к статье: [[📄Paper]](https://arxiv.org/abs/2502.11191). Большие языковые модели (LLM) продемонстрировали замечательную универсальность в последние годы, с перспективными применениями в специализированных областях, таких как финансы, право и биомедицина. Однако в области кибербезопасности мы заметили отсутствие наборов данных с открытым исходным кодом, специально предназначенных для предварительной подготовки LLM, хотя многие исследования показали, что LLM приобретают свои знания во время предварительной подготовки. Чтобы восполнить этот пробел, мы представляем коллекцию наборов данных, охватывающих несколько этапов обучения LLM по кибербезопасности, включая предварительную подготовку…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: trend-cybertron
Теги: cybersecurity, pretraining, en, endpoints_compatible
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
