Qwen1.5 — это бета-версия Qwen2, языковой модели только для декодера на основе преобразователя, предварительно обученной на большом объеме данных. По сравнению с предыдущим выпущенным Qwen, улучшения включают: 8 размеров модели, включая плотные модели 0,5B, 1,8B, 4B, 7B, 14B, 32B и 72B, а также модель MoE 14B с активированным 2,7B; Значительное улучшение производительности при выборе людьми моделей чата; Многоязычная поддержка как базовой модели, так и модели чата; Стабильная поддержка длины контекста 32 КБ для моделей всех размеров. Нет необходимости в TrustRemotecode`. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. В этом репозитории мы предоставляем квантованные модели в форматах GGUF, включая q2k, q3km, q40, q4km, q50, q5km, q6k и q80. Чтобы продемонстрировать качество их моделей, мы следуем за llama.cpp`, чтобы оценить их недоумение на тестовом наборе вики. Результаты показаны ниже: Qwen1.5 — это серия языковых моделей, включающая языковые модели декодеров разных размеров. Для каждого размера мы выпускаем модель базового языка и согласованную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, вниманием к групповым запросам, сочетанием внимания со скользящим окном и полного внимания и т. д.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: gguf, chat, en, endpoints_compatible, conversational
Лайков: 62 | Загрузок: 86
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
