> NextCoder: надежная адаптация LM кода к разнообразным редактированию кода (ICML’2025) NextCoder — это новейшая серия моделей большого языка редактирования кода, разработанная с использованием вариантов инструкций Qwen2.5-Coder в качестве основы и обученная с использованием новой методологии тонкой настройки выборочной передачи знаний, представленной в документе. Модель семейства NextCoder поставляется в трех различных размерах (7, 14 и 32 миллиарда параметров) для удовлетворения потребностей разных разработчиков. Ниже приведены ключевые улучшения: — Значительные улучшения в редактировании кода. NextCoder-32B работает на уровне GPT-4o в сложных тестах, таких как Aider-Polyglot, с приростом производительности на 44% по сравнению с базовой моделью. — Без потери универсальности благодаря нашему новому методу точной настройки SeleKT. — Поддержка длинного контекста до 32 000 токенов. Этот репозиторий содержит модель NextCoder-32B, которая имеет следующие функции: — Тип: причинно-языковые модели — Этап обучения: пост-обучение с помощью SeleKT — Архитектура: преобразователи с смещением RoPE, SwiGLU, RMSNorm и Attention QKV — Количество параметров: 32.5B — Количество параметров (без внедрения): 31.0B — Количество слоев: 64 — Количество головок внимания (GQA): 40 для Q и 8 для KV. Для получения более подробной информации обратитесь к нашему…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: microsoft
Теги: qwen2, code, chat, microsoft, nextcoder, selekt, conversational, en
Лайков: 66 | Загрузок: 954
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
