Модели больших языков (LLM) хороши для генерации кода. Иногда они допускают ошибки при генерации кода. Как насчет того, чтобы они могли дать подробное объяснение вместе с кодом. Это то, что я попробовал здесь. Базовая модель «Лама-1» использовалась в учебных целях. Он обучен примерно на 74000 наборах кодов. В каждом наборе по 2 разговора. Наряду с Python, Java, JavaScript, GO, C++, Rust и т. д. для обучения используется код с подробным объяснением. Он основан на использовании моего существующего набора данных Python-Code-23k-ShareGPT. Этот разговор ведется в формате Vicuna/ShareGPT. Каждый набор вместе с кодом имеет подробное пояснение. Я опубликовал новые данные Code-74k-ShareGPT, на которых обучается эта модель. Весь набор данных был обучен на 4 x A100 80 ГБ. Для 3 эпохи обучение заняло 6 дней и 5 часов. В целях обучения использовалась кодовая база DeepSpeed. Это было обучено Метой на Ламе-1. Это полностью доработанная модель. Ссылки на квантовые модели приведены ниже. Чрезвычайно благодарен TheBloke за создание квантовой версии модели. Вы можете изменить приведенную выше подсказку в соответствии с вашими требованиями. Я использовал формат ShareGPT/Vicuna v1.1. Я хочу сказать особое спасибо сообществу Open Source за…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: ajibawa-2023
Теги: llama, code, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 503
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
