Набор калибровочных данных: VMware Open Instruct, 4096 токенов на образец exl2: https://huggingface.co/waldie/deepsex-34b-4bpw-h6-exl2 exl2: https://huggingface.co/Redwood0/deepsex-34b-4bpw-h8-exl2 Вот шаги для создания этой модели: 1. Сначала я собрал полную коллекцию около 4 ГБ различных легких романов и использовал BERT для выполнения двух раундов дедупликации сходства для романов со схожими сюжетами в наборе данных. Кроме того, добавлена часть новелл NSFW, чтобы улучшить возможности модели NSFW. 2. Затем используйте базу YI-34B в качестве основы модели, используйте настройку r=64 альфа=128 и используйте qlora для точной настройки 3 эпох для непрерывного предварительного обучения. 3. Подготовьте набор данных limarp+pippa, очистите его в формате альпаки и используйте goliath-120b, который хорошо подходит для ролевых игр, чтобы оценить каждую пару вопросов и ответов и отфильтровать высококачественные. 30 тысяч данных. 4. Используйте данные в 3 для sft базовой модели, полученные за 2, 6 эпох, r=16 альфа=32 для точной настройки. Эффект: Обладая навыками ролевой игры, будучи высоко принятым на NSFW, время от времени будут появляться слова чистой любви. типа: 步骤 1.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Redwood0
Теги: Yi, image-feature-extraction, roleplay, custom_code, en
Лайков: 6 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
