Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие методы количественного анализа. 1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Лицензия SmolLM3 — это языковая модель с параметрами 3B, разработанная для расширения границ небольших моделей. Он поддерживает 6 языков, расширенное мышление и длинный контекст. SmolLM3 — это полностью открытая модель, обеспечивающая высокую производительность в масштабе 3B–4B. SmolLM3-3B-Base — это базовая модель после предварительной подготовки. Модель инструкции можно найти на SmolLM3-3B. Модель представляет собой преобразователь, предназначенный только для декодера, с использованием GQA и NoPE. Она была предварительно обучена на токенах 11.2T с помощью поэтапной учебной программы, состоящей из веб-данных, кода, математических данных и логических данных. Пост-обучение включало промежуточное обучение на 140 миллиардах токенов рассуждения с последующей контролируемой точной настройкой и согласованием с помощью оптимизации привязанных предпочтений (APO). — Модель обучения, оптимизированная для гибридного рассуждения — Полностью открытая модель: открытые веса + полные сведения об обучении, включая смесь общедоступных данных и конфигурации обучения — Длинный контекст: обучение на 64 тысячах контекстов и поддержка до 128 тысяч токенов с использованием экстраполяции YARN — Многоязычность: 6 встроенных языков (английский, французский, испанский, немецкий, итальянский и португальский). Более подробную информацию можно найти в нашем блоге:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: unsloth
Теги: smollm3, transformers.js, unsloth, en, fr, es, it, pt
Лайков: 5 | Загрузок: 301
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
