1. Краткое описание модели 2. Как использовать 3. Оценка 4. Обучение 5. Ограничения 6. Правовые аспекты Apertus — это ЯЗЫКОВАЯ модель параметров 70B и 8B, предназначенная для раздвижения границ полностью открытых многоязычных и прозрачных моделей. Модель поддерживает более 1000 языков и длинный контекст, использует только полностью совместимые и открытые данные обучения и достигает сопоставимой производительности с моделями, обученными за закрытыми дверями. Модель представляет собой трансформатор только для декодера, предварительно обученный на токенах 15T с поэтапной учебной программой из веб-данных, кода и математических данных. Модель использует новую функцию активации xIELU и обучается с нуля с помощью оптимизатора AdEMAMix. Пост-тренинг включал контролируемую точную настройку и выравнивание через QRPO. — Полностью открытая модель: открытые данные учитывают все детали обучения, включая все данные и обучающие рецепты — Массовое многоязычие: 1811 изначально поддерживаемых языков — Соответствующий Apertus обучается, соблюдая согласие на отказ владельцев данных (даже ретроспективу) и избегая запоминания данных обучения. Код моделирования для Apertus доступен в Transformers v4.56.0 и более поздних версиях, поэтому обязательно обновите свою версию Transformers. Вы также можете загрузить модель с последней версией vLLM, которая…
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность Следование инструкциям
Задача: Генерация текста
Автор: unsloth
Теги: apertus, multilingual, compliant, swiss-ai, conversational, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 3 | Загрузок: 135
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
