Deepseek Uncensored Lore — это тонко настроенная языковая модель на основе 7B DeepSeek, предназначенная для захватывающего повествования и создания повествования на основе персонажей. Модель использует методы тонкой настройки LoRA (Low-Rank Adaptation), чтобы специализироваться на создании насыщенных, описательных и эмоционально увлекательных историй из структурированных подсказок. — Базовая модель: DeepSeek 7B — Точно настроенный набор данных: истории персонажей — Структура обучения: трансформеры обнимающих лиц с помощью LoRA и PEFT — Оптимизирован для: генерации текста, рассказывания историй, создания повествования — Основной вариант использования: улучшение рабочих процессов творческого письма и интерактивного повествования. Первоначально мы попытались выполнить полную настройку с помощью DeepSpeed на экземпляре A100 с 4 графическими процессорами. Однако сочетание размера набора данных и масштаба модели привело к значительному переоснащению, что привело к ухудшению качества повествования. Это подчеркнуло необходимость более легкого и целенаправленного метода адаптации. Чтобы устранить переобучение, мы реализовали тонкую настройку LoRA (ранг 8, DeepSpeed), ориентируясь на конкретные компоненты модели (qproj, kproj, vproj, oproj). Этот метод позволил нам сохранить лингвистические знания базовой модели, одновременно специализируя ее на рассказывании историй. Процесс тонкой настройки…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: luvGPT
Теги: llama, storytelling, DeepSeek, conversational, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
