naver-hyperclovax/HyperCLOVAX-SEED-Think-14B - Каталог нейросетей
Генерация текста

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B

Добавлено:
naver-hyperclovax/HyperCLOVAX-SEED-Think-14B

HyperCLOVA X SEED 14B Think — это языковая модель нового поколения, которая выходит за рамки традиционного подхода, заключающегося в простом увеличении размера модели для повышения производительности. Он сочетает в себе технологию облегчения HyperCLOVA X для создания высокоэффективных LLM с расширенными возможностями рассуждения. Его разработка опиралась на две ключевые технологии: (1) сокращение и дистилляция знаний, которая обеспечивает как компактность, так и высокую производительность, и (2) конвейер обучения с подкреплением (RL), который максимизирует способность к рассуждению. Благодаря сокращению маловажных параметров и перегонке знаний из большой модели в меньшую, затраты на обучение были значительно снижены. Кроме того, новейший рецепт RL, проверенный в HyperCLOVA X Think, применяется в многоэтапном процессе: (1) контролируемая точная настройка (SFT), (2) обучение с подкреплением с проверяемыми вознаграждениями (RLVR), (3) контроль длины (LC) для оптимизации пути рассуждения и (4) совместное обучение обучению с подкреплением на основе обратной связи с человеком (RLHF) и RLVR. Оснастить сокращенную, очищенную от знаний модель возможностями рассуждения — серьезная задача, поскольку сокращение затрат на обучение и размера модели часто ухудшают рассуждения…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: naver-hyperclovax
Теги: hyperclovax, conversational, custom_code
Лайков: 113  |  Загрузок: 25,828

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.