Эта модель представляет собой объединение трех моделей 70b с помощью вращающегося стопки в конфигурации 103b (120 слоев), вдохновленной Венерой 103b. Результатом этого «франкен-слияния» стала большая модель, в которой есть всего понемногу, включая кухонную раковину. RP, чат, написание историй и инструкции хорошо поддерживаются. Он может кодировать хорошо, а может и не очень — мне не хватает опыта, чтобы протестировать его в этом качестве, но, учитывая исходные модели, я подозреваю, что это маловероятно. Модели компонентов вращающегося штабеля: — royallab/Aetheria-L2-70B — lizpreciatior/lzlv70bfp16_hf — Sao10K/WinterGoddess-1.4x-70B-L2 Предполагается, что компоненты этих моделей включают: Nous-Hermes-Llama2-70b, Xwin-LM-7B-V0.1, Mythospice-70b, Euryale-1.3-L2-70B, tulu-2-dpo-70b, GOAT-70B-Storytelling, Platypus2-70B-instruct, Lila-70B, SunsetBoulevard и некоторые частные LoRA. Поскольку все компоненты основаны на Llama2 70b, длина собственного контекста составляет 4 тыс. токенов. Когерентность до 8k очень хороша при масштабировании по канату, но после этого начинает ухудшаться. Эта модель не подвергается цензуре и вполне способна генерировать нежелательные материалы. Однако это не модель NSFW, и она никогда не «выходила из-под контроля» и не пыталась вставить контент NSFW в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MarsupialAI
Теги: llama, rp, erp, chat, storywriting, en, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
