Мы использовали LoRa для дальнейшей предварительной подготовки модели Meta CodeLLaMA-7B-hf с помощью высококачественных C-кодовых токенов. Эта модель была обучена с использованием LoRa и достигла прохождения@1 34,3% на HumanEvalX-cpp. Мы предварительно обучили CodeLLaMA-7B, дополнительно используя 543 ГБ кода C, собранного в Интернете, и доработали его, используя данные инструкций C CodeM. Для обучения мы использовали 1 графический процессор A100-80GB. Для оценки нашей обученной модели мы используем репозиторий Bigcode-evaluation-harness.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DDIDU
Теги: llama, model-index, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
