Luminia v3 хорошо аргументирует необходимость улучшения подсказки Stable Diffusion из краткого описания, может выводить содержимое NSFW. LoRa включает и Quants: exllamav2 2.4bpw-h6, 4.25bpw-h6, 8.0bpw-h8 | ГГУФ Q4KM, IQ4_NL | «Люминия» может быть любым кратким описанием, дополнительную информацию о моем наборе данных SD можно найти здесь. — Тренировка: Nekochu, Тип модели: Llama, Тонкая настройка на основе модели Llama-2-13b-chat — Продолжение на базе LoRA Luminia-13B-v2-QLora Аппаратное обеспечение: QLoRA Training OS Windows, Python 3.10.8, CUDA 12.1 на 24 ГБ видеопамяти. — число эпох: 1.0 — тип тонкой настройки: lora — бит квантования: 4 — стадия: sft — скорость обучения: 5e-05 — Cutofflen: 4096 — число эпох обучения: 3.0 — максимальное количество образцов: 100000 — шаги прогрева: 0 — размер пакета поезда: 1 — распределенный тип: одиночный графический процессор — количество устройств: 1 — шаги прогрева: 0 — масштабирование каната: линейное — lorarank: 32 — loratarget: all — loradropout: 0,15 — bnb4bitcomputedtype: bfloat16 — начальное число: 42 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrscheduler_type: косинус — PEFT 0.9.0 — Трансформаторы 4.38.1 — Pytorch 2.1.2+cu121 — Наборы данных 2.14.5 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Nekochu
Теги: peft, gguf, llama, llama-factory, lora, generated_from_trainer, llama2, instruct
Лайков: 6 | Загрузок: 104
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
