Шанхайская лаборатория искусственного интеллекта в сотрудничестве с SenseTime Technology, Китайским университетом Гонконга и Фуданьским университетом официально выпустила предварительно обученную модель InternLM-20B с 20 миллиардами параметров. InternLM-20B был предварительно обучен на более чем 2,3Т токенах, содержащих высококачественные данные на английском, китайском и кодовом языках. Кроме того, версия Chat прошла обучение SFT и RLHF, что позволяет ей лучше и безопаснее удовлетворять потребности пользователей. Что касается структуры модели, InternLM-20B выбрал более глубокую архитектуру с глубиной, установленной на уровне 60 слоев. Это превосходит традиционные модели 7B и 13B, в которых используется 32 или 40 слоев. Когда параметры ограничены, увеличение количества слоев может улучшить общие возможности модели. Кроме того, по сравнению с InternLM-7B, данные предварительного обучения, использованные для InternLM-20B, подверглись более качественной очистке и были дополнены данными, богатыми знаниями и предназначенными для улучшения способностей понимания и рассуждения. В результате он демонстрирует значительные улучшения в понимании, рассуждении, математических способностях и способностях к программированию — все это проверяет техническую компетентность языковых моделей. В целом InternLM-20B…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: internlm
Теги: internlm, feature-extraction, custom_code
Лайков: 134 | Загрузок: 190
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
