Модели больших языков (LLM) хороши для генерации кода. Иногда LLM допускают ошибки при генерации кода. Как насчет того, чтобы они могли дать подробное объяснение вместе с кодом. Это то, что я попробовал здесь. Базовая модель «Лама-2» использовалась в учебных целях. Он обучен примерно на 23000+ наборах кодов. В каждом наборе по 2 разговора. Эти данные были сгенерированы с использованием GPT-3.5, GPT-4 и т. д. Этот разговор ведется в формате Vicuna/ShareGPT. Каждый набор вместе с кодом имеет подробное пояснение. Я опубликовал данные. Обучение: весь набор данных был обучен на Azure 4 x A100 80 ГБ. Для 3 эпохи обучение заняло 42 часа. В целях обучения использовалась кодовая база DeepSpeed. Это было обучено Метой на Ламе-1. Это полностью доработанная модель. Ссылки на квантовые модели приведены ниже.
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python
Задача: Генерация текста
Автор: ajibawa-2023
Теги: llama, code, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 882
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
