> TL;DR: Llama-Primus-Merged сначала прошел предварительное обучение на большом корпусе кибербезопасности (2.77B, Primus-Seed и Primus-FineWeb), а затем инструкции были доработаны примерно на 1000 тщательно подобранных задачах контроля качества кибербезопасности (Primus-Instruct), чтобы восстановить способность следовать инструкциям. Наконец, он был объединен с Llama-3.1-8B-Instruct, сохранив ту же способность следовать инструкциям и добившись улучшения на 🚀14,84% совокупных оценок по нескольким тестам кибербезопасности. 🔥 Более подробную информацию можно найти в статье: [[📄Paper]](https://arxiv.org/abs/2502.11191). В последние годы модели большого языка (LLM) продемонстрировали замечательную универсальность и нашли многообещающее применение в специализированных областях, таких как финансы, право и биомедицина. Однако в сфере кибербезопасности мы заметили отсутствие наборов данных с открытым исходным кодом, специально предназначенных для предварительного обучения LLM, хотя многие исследования показали, что LLM приобретают свои знания во время предварительного обучения. Чтобы восполнить этот пробел, мы представляем коллекцию наборов данных, охватывающих несколько этапов обучения LLM в области кибербезопасности, включая предварительное обучение (Primus-Seed и Primus-FineWeb), точную настройку инструкций (Primus-Instruct) и данные для рассуждений…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: trendmicro-ailab
Теги: llama, conversational, en, ja, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 283
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
