PetrolLM — это модель Мистраль-7Б-v0.1, доработанная с использованием QLoRA (4-битная точность) для целей творческого письма и ролевых игр. Набор данных состоит из 5800 образцов, следующего состава: AICG Logs (~17%) PygmalionAI/PIPPA (~17%) Squish42/bluemoon-fandom-1-1-rp-cleaned (~13%) OpenLeecher/Teatime (~2%) Norquinal/claudemultiroundchat1k (~17%) jundurbin/airoboros-gpt4-1.4 (~17%) Total-not-an-llm/EverythingLM-data-V2-sharegpt (~17%) Затем эти образцы были повторно заполнены с использованием gpt-4/gpt-3.5-turbo-16k или иным образом преобразованы в соответствии с форматом подсказки. Модель была доработана с использованием формата подсказки, аналогичного исходному прототипу SuperHOT: Установите новейшую версию трансформеров из исходного кода: Или, альтернативно, измените тип модели в config.json с mistral на llama`.  В качестве дополнения вы можете включить в качестве последней выходной последовательности одну из следующих последовательностей: Третья, похоже, работает лучше всего. Я бы порекомендовал поэкспериментировать и создать свой собственный, который наилучшим образом соответствует вашим потребностям. — Ранг LoRA: 64 — LoRA Alpha: 16 — Выпадение LoRA: 0,1 — Обучение BF16 — Продолжительность отсечки: 2048 — Эпохи(ы) обучения: 2
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Norquinal
Теги: mistral, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
