FairyR1-14B-Preview — высокоэффективная модель большого языка (LLM), которая соответствует более крупным моделям или превосходит их в некоторых задачах. Построенная на базе DeepSeek-R1-Distill-Qwen-14B, эта модель продолжает использовать конвейер «перегонки и слияния» от TinyR1-32B-Preview и Fairy-32B, сочетая точную настройку, ориентированную на задачи, с методами слияния моделей, чтобы обеспечить конкурентоспособную производительность при значительно уменьшенном размере и стоимости вывода. Этот проект финансировался NSFC, грант 624B2005. Являясь членом серии FairyR1, FairyR1-14B-Preview использует те же данные и процесс обучения, что и FairyR1-32B. Мы настоятельно рекомендуем использовать FairyR1-32B, который обеспечивает сопоставимую производительность в математических вычислениях и кодировании с deepseek-R1-671B при использовании всего 5% параметров. Для получения более подробной информации посетите страницу FairyR1-32B. Модель FairyR1 представляет собой дальнейшее исследование нашей более ранней работы TinyR1, сохраняя основной подход «перегонки ветвей и слияний», но внося усовершенствования в обработку данных и архитектуру модели. В ходе этой работы мы пересмотрели конвейер обработки данных: сначала были пропущены необработанные примеры из таких наборов данных, как AIMO/NuminaMath-1.5 для математики и OpenThoughts-114k для кода…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PKU-DS-LAB
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
