Еще один закон масштабирования, выходящий за рамки параметров и масштабирования времени вывода > [!ВАЖНО] > Все выпущенные контрольные точки были обучены на общедоступных наборах данных и предназначены только для академического использования. Эти модели демонстрируют сильную конкурентоспособность среди существующих малых моделей, включая СмолЛМ, Гемму и Ламу-3.2 (подробности см. в Таблице 4). Мы провели постобучение вышеупомянутой базовой модели на SmolTalk-1M, чтобы обеспечить возможность диалога. Мы заморозили параметры Qwen-2.5-3B и только доработали вновь введенные параметры в Stack-V2-Python. Поскольку следующие модели имеют те же основные параметры, что и Qwen-2.5-3B, у них есть потенциал для динамического парскейла: переключение P для адаптации возможностей модели во время вывода. — {size}: размер модели от {0,7B, 0,9B, 1,3B, 1,8B, 3B, 4,7B} — {P}: количество параллелей от {P1, P2, P4, P8} — {dataset}: набор обучающих данных от {Python, Pile}
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ParScale
Теги: qwen2_parscale, conversational, custom_code
Лайков: 6 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
