Это версия SmolLM2-1.7B-Instruct с контекстом 16 КБ, которая изначально поддерживала только контекст 8 КБ. Мы настраиваем модель на 15 тысячах выборок, состоящих из подмножества наборов данных SmolTalk, LongAlign и SeaLong, и увеличиваем RoPE со 100 тысяч до 500 тысяч. Это улучшает оценку HELMET в контексте 8k и 16k с небольшим ухудшением в коротком контексте. Мы сообщаем среднее значение для задач HELMET: RAG, ICL, Re-rank и LongQA. SmolLM2 — это семейство компактных языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Они способны решать широкий спектр задач, но при этом достаточно легки для запуска на устройстве. Более подробную информацию можно найти в нашей статье: https://arxiv.org/abs/2502.02737v1 Вариант 1.7B демонстрирует значительные преимущества по сравнению со своим предшественником SmolLM1-1.7B, особенно в выполнении инструкций, знаниях, рассуждениях и математике. Он был обучен на 11 триллионах токенов с использованием различных комбинаций наборов данных: FineWeb-Edu, DCLM, The Stack, а также новых наборов данных по математике и кодированию, которые мы курировали и скоро выпустим. Мы разработали версию инструкций посредством контролируемой точной настройки (SFT) с использованием комбинации общедоступных наборов данных и наших собственных наборов данных. Затем мы применили Direct…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
