1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Лицензия SmolLM3 — это языковая модель с параметрами 3B, разработанная для расширения границ небольших моделей. Он поддерживает двойной режим рассуждения, 6 языков и длинный контекст. SmolLM3 — это полностью открытая модель, обеспечивающая высокую производительность в масштабе 3B–4B. Модель представляет собой преобразователь, предназначенный только для декодера, с использованием GQA и NoPE (с соотношением 3:1). Она была предварительно обучена на токенах 11.2T с помощью поэтапной учебной программы, состоящей из веб-сайтов, кода, математических данных и аналитических данных. Пост-обучение включало промежуточное обучение на 140 млрд токенов рассуждения с последующей контролируемой точной настройкой и согласованием с помощью оптимизации привязанных предпочтений (APO). — Модель инструкций, оптимизированная для гибридного рассуждения — Полностью открытая модель: открытые веса + полные сведения об обучении, включая смесь общедоступных данных и конфигурации обучения — Длинный контекст: обучение на 64 тысячах контекстов и поддержка до 128 тысяч токенов с использованием экстраполяции YARN — Многоязычность: 6 встроенных языков (английский, французский, испанский, немецкий, итальянский и португальский) Более подробную информацию можно найти в нашем блоге: https://hf.co/blog/smollm3 Код моделирования для SmolLM3 доступен в Transformers v4.53.0, поэтому обязательно обновите версию Transformers. Вы также можете загрузить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: smollm3, conversational, en, fr, es, it, pt, zh
Лайков: 903 | Загрузок: 108,182
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.