1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Лицензия SmolLM3 — это языковая модель с параметрами 3B, разработанная для расширения границ небольших моделей. Он поддерживает 6 языков, расширенное мышление и длинный контекст. SmolLM3 — это полностью открытая модель, обеспечивающая высокую производительность в масштабе 3B–4B. SmolLM3-3B-Base — это базовая модель после предварительной подготовки. Модель для инструкций можно найти на SmolLM3-3B. Модель представляет собой преобразователь, предназначенный только для декодера, с использованием GQA и NoPE. Она была предварительно обучена на токенах 11.2T с помощью поэтапной учебной программы, состоящей из веб-данных, кода, математических данных и логических данных. Пост-обучение включало промежуточное обучение на 140 млрд токенов рассуждения с последующей контролируемой точной настройкой и согласованием с помощью оптимизации привязанных предпочтений (APO). — Модель инструкций, оптимизированная для гибридного рассуждения. — Полностью открытая модель: открытые веса + полные сведения об обучении, включая смесь общедоступных данных и конфигурации обучения. — Длинный контекст: обучение на 64 тысячах контекстов и поддержка до 128 тысяч токенов с использованием экстраполяции YARN. — Многоязычность: 6 встроенных языков (английский, французский, испанский, немецкий, итальянский и португальский). Более подробную информацию можно найти в нашем блоге: https://hf.co/blog/smollm3. Код моделирования для SmolLM3 доступен в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: onnx, smollm3, transformers.js, en, fr, es, it, pt
Лайков: 150 | Загрузок: 84,659
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
