Nanbeige4-3B-Base — это базовая модель с параметрами 3B в семействе Nanbeige LLM четвертого поколения. Он демонстрирует, что даже компактная модель может достичь более высоких характеристик за счет постоянного улучшения качества данных и методологий обучения. При выполнении контролируемой точной настройки (SFT) на одних и тех же обучающих данных наша модель значительно превосходит модели с открытым исходным кодом того же размера и даже превосходит более крупные модели, такие как Qwen3-8B. Мы создали комплексный обучающий корпус с 23Т-токенами из веб-текстов, книг, кода и документов, тщательно отфильтрованных с помощью гибридной стратегии оценки на основе тегов и запоминания на основе поиска. Затем эта основа была дополнена синтетическими данными, насыщенными знаниями и интенсивными рассуждениями**, включая пары вопросов и ответов, учебники и длинные COT, что значительно улучшило производительность последующих задач. Мы разработали инновационный планировщик тренировок FG-WSD (Fine-Grained Warmup-Stable-Decay), тщательно доработав традиционный подход WSD. В этом планировщике реализована детальная программа обработки данных с прогрессивным качеством**, разделяющая стабильную стадию на несколько этапов с постепенно улучшающимися комбинациями данных. По сравнению с ванилью…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Nanbeige
Теги: llama, llm, nanbeige, en, zh, text-generation-inference, endpoints_compatible
Лайков: 59 | Загрузок: 4,195
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
