Kwai-Coder-DS-V2-Lite-Base построен на основе Deepseek-v2-Lite-Base, который имеет в общей сложности 16B параметров и 2,4B активированных параметров. Он поддерживает английский и китайский языки и прошел предварительную подготовку на 800B токенах высококачественного кода, математических вычислений и текстовых данных на китайском и английском языках. Обучающие данные состоят из 70 % кодовых данных, 20 % математических данных и 10 % текстовых данных (включая большое количество текстовых данных, связанных с кодом). В конечном итоге базовая модель достигла уровней SOTA во многих тестах. Kwai-Coder-DS-V2-Lite-Base достиг баллов Pass@1, равных 75,0% и 68,9% в тестовых наборах HumanEval и HumanEval+ соответственно. По сравнению с Deepseek-v2-Lite-Base той же шкалы параметров это улучшение составляет 83,37% и 102,05% соответственно. Кроме того, он превзошел лучшую на данный момент базовую модель (OpenCoder-8B), достигнув уровня SOTA (современный). На тестовых наборах MBPP и MBPP+ Kwai-Coder-DS-V2-Lite-Base превзошел модель Deepseek-v2-Lite-Base с той же шкалой параметров. Кроме того, при наличии всего лишь 2,4B активированных параметров модель Kwai-Coder-DS-V2-Lite-Base достигла среднего улучшения почти на 5 процентных пунктов по сравнению с Qwen2.5-Coder со шкалой параметров 7B. На…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: Kwaipilot
Теги: deepseek_v2, code-generation, conversational, custom_code, multilingual, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 402
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
