Qwen1.5 — это бета-версия Qwen2, языковой модели только для декодера на основе преобразователя, предварительно обученной на большом объеме данных. По сравнению с предыдущим выпущенным Qwen, улучшения включают в себя: 9 размеров модели, включая плотные модели 0,5B, 1,8B, 4B, 7B, 14B, 32B, 72B и 110B, а также модель MoE 14B с активированным 2,7B; Значительное улучшение производительности при выборе людьми моделей чата; Многоязычная поддержка как базовой модели, так и модели чата; Стабильная поддержка длины контекста 32 КБ для моделей всех размеров. Нет необходимости в TrustRemotecode`. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. В этом репозитории мы предоставляем квантованные модели в форматах GGUF, включая q2k, q3km, q40, q4km, q50, q5km, q6k и q80`. Qwen1.5 — это серия языковых моделей, включающая языковые модели декодеров разных размеров. Для каждого размера мы выпускаем модель базового языка и согласованную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, вниманием к групповым запросам, сочетанием внимания скользящего окна и полного внимания и т. д. Кроме того, у нас есть улучшенный токенизатор, адаптивный к множеству естественных языков и кодов. Для бета-версии…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: gguf, chat, en, endpoints_compatible, conversational
Лайков: 14 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
