Borealis-10.7B — это модель 10.7B, состоящая из 48 слоев Mistral 7B, настроенная на +70 часов на 2xA6000 на большом RP и разговорном наборе данных с конфигурацией llama2 аксолотля, такого как SOLAR. Следующим шагом было бы сделать поезд DPO сверху, но я не знаю, будет ли это полезно. Этот репозиторий содержит файлы fp16 диалоговой модели Borealis-10.7B. Цель этой модели не в том, чтобы превзойти все стандарты, а в том, чтобы создать лучшую модель RP/ERP/диалогового взаимодействия. Он был обучен на нескольких базовых наборах данных, чтобы сделать его интеллектуальным, но большая часть набора данных представляла собой базовые разговоры. — NothingExistsOnTheInternet/ToxicQAFinal — teknium/openhermes — unalignment/spicy-3.1 — Doctor-Shotgun/no-robots-sharegpt — Undi95/ Toxic-dpo-v0.1-sharegpt — Aesir [1], [2], [3-SFW], [3-NSFW] — лимонилия/LimaRP — Squish42/bluemoon-fandom-1-1-rp-cleaned — Undi95/ConversationChronicles-sharegpt-SHARDED (2 набора, изменено)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Undi95
Теги: llama, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
