Qwen2.5-1M — это версия моделей серии Qwen2.5 с длинным контекстом, поддерживающая длину контекста до 1 миллиона токенов. По сравнению с версией Qwen2.5 128K, Qwen2.5-1M демонстрирует значительно улучшенную производительность при выполнении задач с длинным контекстом, сохраняя при этом свои возможности при выполнении коротких задач. Модель имеет следующие особенности: — Тип: причинно-языковые модели — Этап обучения: предварительное обучение и постобучение — Архитектура: преобразователи с RoPE, SwiGLU, RMSNorm и смещением QKV внимания — Количество параметров: 7,61B — Количество параметров (без внедрения): 6,53B — Количество слоев: 28 — Количество головок внимания (GQA): 28 для Q и 4 для KV — Длина контекста: полные 1 010 000 токенов и токены поколения 8192. Мы рекомендуем развертывать с помощью нашей пользовательской vLLM, которая вводит методы экстраполяции разреженного внимания и длины для обеспечения эффективности и точности для задач с длинным контекстом. Конкретные рекомендации можно найти в этом разделе. — Вы также можете использовать предыдущую платформу, которая поддерживает Qwen2.5 для вывода, но может произойти ухудшение точности для последовательностей, превышающих 262 144 токена. Более подробную информацию можно найти в нашем блоге, GitHub, техническом отчете и документации. Код Qwen2.5 имеет…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Qwen
Теги: qwen2, chat, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 366 | Загрузок: 45,583
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
