Secretmoon/LoRA-Llama-3-MLP — это адаптер LoRA для модели Llama-3-8B, в первую очередь предназначенный для расширения знаний модели о вселенной MLP:FiM (My Little Pony: Friendship is Magic). Этот адаптер идеально подходит для создания фанфиков, ролевых сценариев и других творческих проектов. Данные обучения включают фактический контент из вики Фэндома и канонические фанатские работы, глубоко исследующие вселенную. Базовая модель этого адаптера — Sao10K/L3-8B-Stheno-v3.1, отличная доработанная версия оригинальной Llama-3-8B. Он преуспевает в написании рассказов и ролевых играх, не страдая от деградации из-за переоснащения. — Набор данных: 1. Очищенная копия MLP Fandom Wiki, исключающая информацию о недавних и побочных проектах, не связанных с MLP:FiM. (Альпака) 2. Около 100 специально отобранных фан-историй от FiMFiction. (текст в формате RAW) 3. Дополнительные данные для обучения модели как личного помощника и повышения ее чувствительности к эмоциям пользователя. (Альпака) — Продолжительность обучения: 3 часа — Аппаратное обеспечение: 1 x NVIDIA RTX A6000 48 ГБ — Тип PEFT: LoRA 8-бит — Длина последовательности: 6144 — Размер пакета: 2 — Число эпох: 3 — Оптимизатор: AdamWBNB8bit — Планировщик скорости обучения: косинус — Скорость обучения: 0,00033 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: secretmoon
Теги: peft, conversational, en
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
