Модель HPC-Coder-v2-16b представляет собой LLM-код HPC, настроенный на наборе данных инструкций и отвечающий общим темам HPC, таким как параллелизм, оптимизация, портирование ускорителей и т. д. Эта версия представляет собой доработку базовой модели Deepseek Coder V2 lite. Он точно настроен для наборов данных hpc-instruct, oss-instruct и evol-instruct. Мы использовали распределенную библиотеку обучения AxoNN для параллельной настройки множества графических процессоров. HPC-Coder-v2-1.3b, HPC-Coder-v2-6.7b и HPC-Coder-v2-16b — наиболее эффективные LLM с открытым исходным кодом для параллельной генерации кода и кода HPC. HPC-Coder-v2-16b в настоящее время является лучшим LLM с открытым исходным кодом в тесте параллельной генерации кода ParEval с точки зрения правильности и производительности. По показателям параллельной генерации кода он аналогичен 34B и коммерческим моделям, таким как Phind-V2 и GPT-4. HPC-Coder-v2-6.7b по производительности не сильно отстает от 16b. Модель представлена в виде стандартной модели «обнимающего лица» с безопасными тензорными грузами. Его можно использовать с конвейерами преобразователей, vllm или любой другой структурой вывода стандартной модели. HPC-Coder-v2 — это модель инструкций, и для достижения наилучших результатов подсказки необходимо форматировать как инструкции. Он был обучен следующим…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: hpcgroup
Теги: deepseek_v2, code, hpc, parallel, axonn, conversational, custom_code, en
Лайков: 16 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
