Qwen2 — новая серия больших языковых моделей Qwen. Для Qwen2 мы выпускаем ряд базовых языковых моделей и языковых моделей с настройкой инструкций с диапазоном от 0,5 до 72 миллиардов параметров, включая модель «Смесь экспертов». Этот репозиторий содержит настроенную по инструкциям модель 1.5B Qwen2. По сравнению с современными языковыми моделями с открытым исходным кодом, включая ранее выпущенный Qwen1.5, Qwen2 в целом превзошел большинство моделей с открытым исходным кодом и продемонстрировал конкурентоспособность по сравнению с проприетарными моделями в ряде тестов, нацеленных на понимание языка, генерацию языка, многоязычные возможности, кодирование, математику, рассуждение и т. д. В этом репозитории мы предоставляем модель fp16 и квантовые модели в форматах GGUF, включая q2k, q3km, q40, q4km, q50, q5км, q6k и q80`. Qwen2 — это серия языковых моделей, включающая языковые модели декодеров разных размеров. Для каждого размера мы выпускаем модель базового языка и согласованную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, вниманием к групповым запросам и т. д. Кроме того, у нас есть улучшенный токенизатор, адаптивный к нескольким естественным языкам и кодам. Мы предварительно обучили модели…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: gguf, chat, instruct, en, endpoints_compatible, conversational
Лайков: 28 | Загрузок: 17,529
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
