Nyqo n1 — это компактная языковая модель общего назначения с параметрами 497M, построенная на LiquidAI/LFM2.5-350M. Он расширяет базовую модель с 16 до 24 слоев и обучает только восемь добавленных слоев, в то время как исходные веса остаются замороженными. Пост-тренинг сочетает в себе контролируемую точную настройку на проверенные ответы с дистилляцией из базовой модели и более ранней контрольной точки Nyqo. Исправленные и внешние справочные ответы получают только контролируемую потерю. Выбранная контрольная точка увидела 800 примеров из фиксированного набора из 1600; корпус обучения является частным. Пост-обучение на одном NVIDIA RTX 3060 (12 ГБ), с заявленными расходами на аренду облачных экземпляров в размере $ 19,23. ! Сравнение эталона Nyqo n1. Nyqo выделен; лучшие баллы компактной модели подчеркнуты; Qwen 4B показан отдельно в качестве ссылки на более крупную модель. С ограниченным бюджетом вычислений мы оценили фиксированные подмножества ARC-Easy (594 задачи), IFEval (210 задач) и MBPP (100 задач). Это оценки подмножества, а не результаты таблицы лидеров полного бенчмарка. Внутренняя оценка — это наш собственный оценочный набор из 204 задач. Дополнительные сравнительные баллы сообщаются автором в качестве описательных ссылок; точные идентификаторы контрольных точек, ревизии и записи выводов для каждой модели не…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Hxtomi
Теги: lfm2, nyqo, block-expansion, knowledge-distillation, conversational, en, endpoints_compatible
Лайков: 3 | Загрузок: 466
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
