1. Краткое описание модели 2. Ограничения 3. Обучение 4. Лицензия 5. Цитирование SmolLM2 — это семейство компактных языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Они способны решать широкий спектр задач, но при этом достаточно легки для запуска на устройстве. Более подробную информацию можно найти в нашей статье https://arxiv.org/abs/2502.02737. SmolLM2 демонстрирует значительные преимущества по сравнению со своим предшественником SmolLM1, особенно в следовании инструкциям, знаниях и рассуждениях. Модель 135M была обучена на 2 триллионах токенов с использованием различных комбинаций наборов данных: FineWeb-Edu, DCLM, The Stack, а также новых отфильтрованных наборов данных, которые мы подготовили и скоро выпустим. Мы разработали версию инструкций посредством контролируемой точной настройки (SFT) с использованием комбинации общедоступных наборов данных и наших собственных наборов данных. Затем мы применили оптимизацию прямых предпочтений (DPO) с помощью UltraFeedback. Модель инструкций дополнительно поддерживает такие задачи, как перезапись текста, суммирование и вызов функций (для версии 1.7B) благодаря наборам данных, разработанным Argilla, таким как Synth-APIGen-v0.1. Вы можете найти набор данных SFT здесь: https://huggingface.co/datasets/HuggingFaceTB/smol-smoltalk, а также код тонкой настройки по адресу…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: tensorboard, onnx, llama, transformers.js, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 296 | Загрузок: 668,323
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
