1. Краткое описание модели 2. Ограничения 3. Обучение 4. Лицензия 5. Цитирование SmolLM2 — это семейство компактных языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Они способны решать широкий спектр задач, но при этом достаточно легки для запуска на устройстве. Более подробная информация в нашей статье: https://arxiv.org/abs/2502.02737 SmolLM2 демонстрирует значительные преимущества по сравнению со своим предшественником SmolLM1, особенно в выполнении инструкций, знаниях и рассуждениях. Модель 360M была обучена на 4 триллионах токенов с использованием различных комбинаций наборов данных: FineWeb-Edu, DCLM, The Stack, а также новых отфильтрованных наборов данных, которые мы подготовили и скоро выпустим. Мы разработали версию инструкций посредством контролируемой точной настройки (SFT) с использованием комбинации общедоступных наборов данных и наших собственных наборов данных. Затем мы применили оптимизацию прямых предпочтений (DPO) с помощью UltraFeedback. Модель инструкций дополнительно поддерживает такие задачи, как перезапись текста, суммирование и вызов функций, благодаря наборам данных, разработанным Argilla, таким как Synth-APIGen-v0.1. Для получения более подробной информации см.: https://github.com/huggingface/smollm. Вы найдете код предварительного обучения, пост-обучения, оценки и локального вывода. В этом разделе мы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 88 | Загрузок: 55,433
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
