1. Краткое описание модели 2. Оценка 3. Ограничения 4. Обучение 5. Лицензия 6. Цитирование SmolLM2 — это семейство компактных языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Они способны решать широкий спектр задач, но при этом достаточно легки для запуска на устройстве. Более подробную информацию можно найти в нашей статье: https://arxiv.org/abs/2502.02737v1 Вариант 1.7B демонстрирует значительные преимущества по сравнению со своим предшественником SmolLM1-1.7B, особенно в выполнении инструкций, знаниях, рассуждениях и математике. Он был обучен на 11 триллионах токенов с использованием различных комбинаций наборов данных: FineWeb-Edu, DCLM, The Stack, а также новых наборов данных по математике и кодированию, которые мы курировали и скоро выпустим. Мы разработали версию инструкций посредством контролируемой точной настройки (SFT) с использованием комбинации общедоступных наборов данных и наших собственных наборов данных. Затем мы применили оптимизацию прямых предпочтений (DPO) с помощью UltraFeedback. Модель инструкций дополнительно поддерживает такие задачи, как перезапись текста, суммирование и вызов функций, благодаря наборам данных, разработанным Argilla, таким как Synth-APIGen-v0.1. Вы можете найти набор данных SFT здесь: https://huggingface.co/datasets/HuggingFaceTB/smoltalk и код тонкой настройки…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 145 | Загрузок: 89,344
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
