Используемый набор данных: mpasila/Literotica-stories-short, который содержит только часть историй из полного набора данных Literotica и был разбит на части, чтобы уместиться в 8192 токена. Тренировался с использованием обычного LoRA (не квантованного/QLoRA), ранг LoRA составлял 128, а уровень альфа был установлен на 32. Тренировался в течение 1 эпохи с использованием A40 в течение примерно 13 часов. — Разработчик: mpasila — Лицензия: Лицензионное соглашение сообщества Llama 3.1 — Точная настройка на основе модели: unsloth/Meta-Llama-3.1-8B Эта модель ламы была обучена в 2 раза быстрее с помощью библиотеки TRL Unsloth и Huggingface.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mpasila
Теги: llama, text-generation-inference, unsloth, trl, sft, not-for-all-audiences, en, endpoints_compatible
Лайков: 5 | Загрузок: 48
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
