В последние годы модели больших языков (LLM) продемонстрировали исключительные возможности в широком спектре приложений благодаря своей фантастической способности к появлению. Чтобы соответствовать предпочтениям человека, для LLM на основе чата (например, ChatGPT, GPT-4) предлагается настройка инструкций и обучение с подкреплением на основе обратной связи от человека (RLHF). Однако эти LLM (за исключением Кодекса) в первую очередь ориентированы на общую область и не предназначены специально для кодовой области. Хотя Кодекс предоставляет альтернативный вариант, это модель с закрытым исходным кодом, разработанная OpenAI. Следовательно, крайне важно разработать LLM с открытым исходным кодом, выполняющий инструкции, для области кода. Однако крупномасштабное количество параметров LLM ($ge$7B) и наборов обучающих данных требует огромного количества вычислительных ресурсов, что существенно затрудняет развитие обучения и вывода на потребительском оборудовании. Чтобы справиться с этими проблемами, в этом проекте мы используем новейшую мощную базовую модель Llama 2 и создаем высококачественные данные по инструкциям для задач генерации кода, а также предлагаем многоязычную модель генерации кода по инструкциям Llama2. Между тем, чтобы он соответствовал академическому бюджету и потребительскому оборудованию…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: juyongjiang
Теги: llama, text-to-code, multilingual-code-generation, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
