LlaMa-2 7b точно настроен на наборе данных инструкций кода pythoncodeinstructions18kalpaca с использованием метода QLoRA в 4-битной версии с библиотекой PEFT. Meta разработала и публично выпустила семейство больших языковых моделей (LLM) Llama 2 — коллекцию предварительно обученных и точно настроенных генеративных текстовых моделей с масштабом от 7 до 70 миллиардов параметров. Архитектура модели Llama 2 — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. В настроенных версиях используется контролируемая точная настройка (SFT) и обучение с подкреплением с обратной связью от человека (RLHF) для согласования с предпочтениями человека в отношении полезности и безопасности. Набор данных содержит описания проблем и код на языке Python. Этот набор данных взят из файла sahil2801/codeinstructions120k, который добавляет столбец подсказок в стиле альпаки. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: False — bnb4bitcomputedtype: float16
Модальности:
Генерация текста
Области применения:
Генерация кода
Языки программирования:
Python
Задача: Генерация текста
Автор: edumunozsala
Теги: llama, generated_from_trainer, code, coding, llama-2, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
