Qwen1.5-Wukong-1.8B — это усовершенствованная версия оригинальной фантастической модели Qwen1.5-1.8B, созданная командой Qwen. Эта модель была обучена на наборе данных из Cognitive Computations Dolphin 2.9 https://erichartford.com/dolphin 🐬 Qwen1.5 — это бета-версия Qwen2, языковой модели только для декодера на основе преобразователя, предварительно обученной на большом объеме данных. По сравнению с предыдущим выпущенным Qwen, улучшения включают в себя: 8 размеров модели, включая плотные модели 0,5B, 1,8B, 4B, 7B, 14B, 32B и 72B, а также модель MoE 14B с активированным 2,7B; Значительное улучшение производительности моделей чата; Многоязычная поддержка как базовой модели, так и модели чата; Стабильная поддержка длины контекста 32 КБ для моделей всех размеров. Нет необходимости в TrustRemotecode`. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. Qwen1.5 — это серия языковых моделей, включающая языковые модели декодеров разных размеров. Для каждого размера мы выпускаем модель базового языка и согласованную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, вниманием к групповым запросам, сочетанием внимания скользящего окна и полного внимания и т. д. Кроме того, у нас есть улучшенный…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RESMPDEV
Теги: qwen2, conversational, en, zh, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
