> TL;DR: Llama-Primus-Merged сначала прошел предварительное обучение на большом корпусе кибербезопасности (2.77B, Primus-Seed и Primus-FineWeb), а затем инструкция была тонко настроена на около 1000 тщательно отобранных задач обеспечения качества кибербезопасности (Primus-Instruct), чтобы восстановить его способность следовать инструкциям. Наконец, он был объединен с Llama-3.1-8B-Instruct, сохранив ту же способность следовать инструкциям, достигнув при этом 🚀14,84% улучшения агрегированных баллов по нескольким тестам кибербезопасности. 🔥 Для получения более подробной информации, пожалуйста, обратитесь к статье: [[📄Paper]](https://arxiv.org/abs/2502.11191). Большие языковые модели (LLM) продемонстрировали замечательную универсальность в последние годы, с перспективными применениями в специализированных областях, таких как финансы, право и биомедицина. Однако в области кибербезопасности мы заметили отсутствие наборов данных с открытым исходным кодом, специально предназначенных для предварительной подготовки LLM, хотя многие исследования показали, что LLM приобретают свои знания во время предварительной подготовки. Чтобы восполнить этот пробел, мы представляем коллекцию наборов данных, охватывающих несколько этапов обучения LLM по кибербезопасности, включая предварительную подготовку (Primus-Seed и Primus-FineWeb), точную настройку инструкций (Primus-Instruct) и данные рассуждений…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: trend-cybertron
Теги: en, ja, endpoints_compatible
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
