Это квантованная версия Qwen/Qwen2-1.5B, созданная с использованием llama.cpp Qwen2 — новая серия больших языковых моделей Qwen. Для Qwen2 мы выпускаем ряд базовых языковых моделей и языковых моделей, настраиваемых инструкциями, в диапазоне от 0,5 до 72 миллиардов параметров, включая модель Mixture-of-Experts. Этот репозиторий содержит базовую языковую модель Qwen2 1.5B. По сравнению с современными языковыми моделями с открытым исходным кодом, включая предыдущий выпуск Qwen1.5, Qwen2 в целом превзошел большинство моделей с открытым исходным кодом и продемонстрировал конкурентоспособность по сравнению с проприетарными моделями по ряду эталонов, ориентированных на понимание языка, генерацию языка, многоязычные возможности, кодирование, математику, рассуждения и т. д. Подробнее читайте в нашем блоге, на GitHub и в Документации. Qwen2 — это серия языковых моделей, включающая языковые модели декодера разных размеров. Для каждого размера мы выпускаем базовую языковую модель и выровненную модель чата. Он основан на архитектуре Transformer с активацией SwiGLU, смещением внимания QKV, групповым запросом внимания и т. д. Кроме того, у нас есть улучшенный токенизатор, адаптированный к нескольким естественным языкам и кодам. Код Qwen2 был…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, pretrained, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 943
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
