Qwen1.5 — это бета-версия Qwen2, языковой модели только для декодера на основе преобразователя, предварительно обученной на большом объеме данных. По сравнению с предыдущим выпущенным Qwen, улучшения включают в себя: 6 типоразмеров модели, включая 0,5В, 1,8В, 4В, 7В, 14В и 72В; Значительное улучшение производительности при выборе людьми моделей чата; Многоязычная поддержка как базовой модели, так и модели чата; Стабильная поддержка длины контекста 32 КБ для моделей всех размеров. Нет необходимости в TrustRemotecode`. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. Qwen1.5 — это серия языковых моделей, включающая языковые модели декодеров разных размеров. Для каждого размера мы выпускаем модель базового языка и согласованную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, вниманием к групповым запросам, сочетанием внимания скользящего окна и полного внимания и т. д. Кроме того, у нас есть улучшенный токенизатор, адаптивный к множеству естественных языков и кодов. Для бета-версии мы временно не включали GQA и смесь SWA и полного внимания. Мы предварительно обучили модели на большом объеме данных, а затем обучили модели с контролируемой точной настройкой и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: qwen2, chat, conversational, en, text-generation-inference, endpoints_compatible, 8-bit, gptq
Лайков: 26 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
