Qwen2.5-Coder — это новейшая серия больших языковых моделей Qwen, специфичных для кода (ранее известных как CodeQwen). На данный момент Qwen2.5-Coder охватывает шесть основных размеров моделей: 0,5, 1,5, 3, 7, 14, 32 миллиарда параметров, чтобы удовлетворить потребности различных разработчиков. Qwen2.5-Coder вносит следующие улучшения в CodeQwen1.5: — Значительные улучшения в генерации кода, его обосновании и исправлении. Основываясь на мощном Qwen2.5, мы увеличиваем количество обучающих токенов до 5,5 триллионов, включая исходный код, обоснование текстового кода, синтетические данные и т. д. Qwen2.5-Coder-32B стал современным кодом LLM с открытым исходным кодом, его возможности кодирования соответствуют возможностям GPT-4o. — Более комплексная основа для реальных приложений, таких как Code Agents. Не только расширяя возможности кодирования, но и сохраняя свои сильные стороны в математике и общих компетенциях. — Поддержка длинного контекста до 128 тыс. токенов. Этот репозиторий содержит квантованную GPTQ 4-битную модель 7B Qwen2.5-Coder, настроенную с помощью инструкций, которая имеет следующие функции: — Тип: причинные языковые модели — Этап обучения: предварительное обучение и постобучение — Архитектура: преобразователи с RoPE, SwiGLU, RMSNorm и смещением QKV внимания -…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Qwen
Теги: qwen2, code, codeqwen, chat, qwen, qwen-coder, conversational, en
Лайков: 13 | Загрузок: 522,549
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
