Unsloth Dynamic 2.0 достигает превосходной точности Модель представляет собой трансформатор только для декодера с использованием GQA и NoPE (с соотношением 3:1), она была предварительно обучена на токенах 11,2T с поэтапным учебным планом из веб-данных, кода, математики и рассуждений. Посттренинг включал в себя промежуточное обучение на 140B маркерах рассуждений с последующей контролируемой тонкой настройкой и выравниванием с помощью Anchored Preference Optimization (apo). — Модель обучения, оптимизированная для гибридных рассуждений — Полностью открытая модель: открытые веса, полные детали обучения, включая микс общедоступных данных и тренировочные конфигурации — Длинный контекст: Обучен на 64 000 контекстах и поддерживает до 128 000 токенов с использованием экстраполяции ПРЯЖИ — Многоязычный: 6 изначально поддерживаемых (английский, французский, испанский, немецкий, итальянский и португальский) Более подробную информацию см. в нашем блоге: https://hf.co/blog/smollm3 Код моделирования для SmolLM3 доступен в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: smollm3, unsloth, conversational, en, fr, es, it, pt
Лайков: 3 | Загрузок: 419
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
