Эта модель была доработана с использованием Predibase, первой низкокодовой ИИ-платформы для инженеров. Я тонко настроил базу Llama-2-7b, используя LoRA с 4-битным квантованием на одном графическом процессоре T4, что стоило примерно $ 3 для обучения на Predibase. Попробуйте нашу бесплатную пробную версию Predibase здесь. Набор данных и параметры обучения заимствованы из: https://github.com/sahil280114/codealpaca, но все эти параметры, включая DeepSpeed, можно напрямую использовать с Ludwig, инструментарием с открытым исходным кодом для LLM, на котором построен Predibase. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: float16
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arnavgrg
Теги: peft, en
Лайков: 3 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
