Точно настроенный код LLaMA на 7 миллиардов параметров — инструктирует модель генерировать смарт-контракт Solidity с использованием 4-битной точной настройки QLoRA, предоставляемой библиотекой PEFT. Набор данных, используемый для точной настройки модели, — это инструкции по смарт-контрактам AlfredPros (https://huggingface.co/datasets/AlfredPros/smart-contracts-instructions). Набор данных, содержащий 6003 пары данных исходного кода Solidity и инструкций, сгенерированных GPT. Этот набор данных был обработан для обучения LLM. — Загрузка в 4-битном формате: true — Тип 4-битного квантования: NF4 — 4-битный тип вычисления dtype: float16 — 4-битное использование двойного квантования: true — Количество эпох поезда: 1 — FP16: true — Уровень опции FP16: O1 — BF16: false — Размер пакета поездов для каждого устройства: 1 — Шаги накопления градиента: 1 — Контрольная точка градиента: true — Максимальный нормальный градиент: 0,3 — Скорость обучения: 2e-4 — Снижение веса: 0,001 — Оптимизатор: страничный AdamW 32-разрядный — Тип планировщика скорости обучения: косинус — Коэффициент прогрева: 0,03 — Используемый графический процессор: 1x NVIDIA GeForce GTX 1080Ti — Время обучения: 21 час, 4 минуты и 57 секунд
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: AlfredPros
Теги: llama, code, blockchain, solidity, smart contract, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 261
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
