Это обновленная версия Aurora-m, модели 15B на базе Starcoderplus, которая была продолжена предварительной тренировкой на дополнительных токенах примерно 435B. Эта версия представляет собой экспериментальную исследовательскую версию, предназначенную для использования в многодоменных и многоязычных исследованиях красной команды. Этот проект был создан в рамках усилий MDEL. Более подробную техническую информацию можно найти в нашем документе COLING 2025. Английский, японский, финский, вьетнамский, хинди, а также программный код, химическая формула SMILE, финансовые данные, юридические контракты, политические дебаты, данные об изменении климата, нотные записи ABC, кодирование, математика и многие другие области. — Смесь: около 1,5 ТБ текстовых данных из наборов данных Stack, Refined Web, Red Pajama 1 и Pile, а также конкретных наборов данных, созданных в рамках усилий MDEL. — Общественные инструкции: наборы данных публичных инструкций также были смешаны во время непрерывного предварительного обучения. — Набор данных Redteam: несколько тысяч команд, проверенных и отредактированных людьми, для решения общих проблем безопасности, а точнее, проблем, содержащихся в Исполнительном указе Белого дома № 14110 от 2023 года об искусственном интеллекте, который теперь отменен с января 2025 года. Модель была обучена на наборе данных Mixture и образце…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: aurora-m
Теги: gpt_bigcode, code, en, ja, vi, fi, hi, text-generation-inference
Лайков: 20 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
