— Результат чередования слоев Sao10K/Euryale-1.3-L2-70B и GOAT-AI/GOAT-70B-Storytelling. — Полученная модель имеет 120 слоев и 103 миллиарда параметров. — Подробную информацию об используемом методе слияния см. в mergekit-config.yml. — См. ветки exl2- для квантования exllama2. Квант со скоростью передачи данных 5,65 бита в минуту должен помещаться в 80 ГБ видеопамяти, а квант со скоростью передачи данных 3,35/3,0 бита в минуту — в 48 ГБ видеопамяти. — Вдохновленный Голиафом-120b 1. В ходе моего ограниченного тестирования я обнаружил, что эта модель является наиболее креативной из слияний 103b, которые я сделал до сих пор. 2. Кажется, выдерживает более высокие температуры, чем предыдущие модели Venus 3. Кажется, не страдает от каких-либо проблем с цензурой 4. Не следует инструкциям так же, как версия 1.1, но все же работает немного лучше, чем версия 1.0 5. Иногда возникают некоторые проблемы с форматированием (т. е. не закрываются звездочки или кавычки). Обратите внимание, что это, очевидно, только мои личные наблюдения, у каждого будет свой уникальный опыт, основанный на его настройках и конкретных сценариях, для которых они используют модель.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nsfwthrowitaway69
Теги: llama, not-for-all-audiences, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
