1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Лицензия SmolLM3 — это языковая модель с параметрами 3B, разработанная для расширения границ небольших моделей. Он поддерживает 6 языков, расширенное мышление и длинный контекст. SmolLM3 — это полностью открытая модель, обеспечивающая высокую производительность в масштабе 3B–4B. Модель представляет собой преобразователь, предназначенный только для декодера, с использованием GQA и NoPE (с соотношением 3:1). Она была предварительно обучена на токенах 11.2T с помощью поэтапной учебной программы, состоящей из веб-сайтов, кода, математических данных и аналитических данных. Пост-обучение включало промежуточное обучение на 140 млрд токенов рассуждения с последующей контролируемой точной настройкой и согласованием с помощью оптимизации привязанных предпочтений (APO). — Модель обучения, оптимизированная для гибридного рассуждения — Полностью открытая модель: открытые веса + полные сведения об обучении, включая смесь общедоступных данных и конфигурации обучения — Длинный контекст: обучение на 64 тысячах контекстов и поддержка до 128 тысяч токенов с использованием экстраполяции YARN — Многоязычность: 6 встроенных языков (английский, французский, испанский, немецкий, итальянский и португальский). Более подробную информацию можно найти в нашем блоге: https://hf.co/blog/smollm3. В этом разделе мы сообщить о результатах оценки модели SmolLM3. Все оценки являются нулевыми, если не указано иное, и мы используем…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: transformers.js, onnx, smollm3, conversational, en, fr, es, it
Лайков: 25 | Загрузок: 410
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
