Модели больших языков (LLM) хороши для генерации кода. Иногда они допускают ошибки при генерации кода. Как насчет того, чтобы они могли дать подробное объяснение вместе с кодом. Это то, что я попробовал здесь. Базовая модель «Лама-2» использовалась в учебных целях. Он обучен примерно на 290 000 наборах кодов. В каждом наборе по 2 разговора. Наряду с Python, Java, JavaScript, GO, C++, Rust, Ruby, Sql, MySql, R, Julia, Haskell и т. д. для обучения используется код с подробным объяснением. Он основан на использовании моих существующих наборов данных Python-Code-23k-ShareGPT и Code-74k-ShareGPT. Этот разговор ведется в формате Vicuna/ShareGPT. Каждый набор вместе с кодом имеет подробное пояснение. Я опубликовал новые данные Code-290k-ShareGPT, на которых обучается эта модель. Весь набор данных был обучен на 4 x A100 80 ГБ. За 3 эпохи обучение заняло 165 часов. В целях обучения использовалась кодовая база DeepSpeed. Это было обучено Метой на Ламе-2. Это полностью доработанная модель. Ссылки на квантовые модели приведены ниже. Чрезвычайно благодарен TheBloke и Bartowski за создание квантовой версии модели. Вы можете изменить приведенную выше подсказку в соответствии с вашими требованиями. Я использовал ShareGPT/Vicuna…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: ajibawa-2023
Теги: llama, code, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 645
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
