Целью было создать большую модель, которая хорошо подходит для сценариев RP/ERP. Голиаф-120b отлично подходит для ролевых игр, а Венера-120b была создана с целью попытаться объединить более двух моделей вместе, чтобы увидеть, насколько хорошо работает этот метод. — Результат чередования слоев Sao10K/Euryale-1.3-L2-70B, NousResearch/Nous-Hermes-Llama2-70b и migtissera/SynthIA-70B-v1.5 с использованием mergekit. — Полученная модель имеет 140 слоев и примерно 122 миллиарда параметров. — Подробную информацию об используемом методе слияния см. в mergekit-config.yml. — См. ветки exl2- для квантования exllama2. Квант с битовой частотой 4,85 должен уместиться в 80 ГБ видеопамяти, а квант с битой в 3,0 должен (с трудом) уместиться в 48 ГБ видеопамяти с контекстом 4 КБ. — По мотивам Голиафа-120b. Первоначальные испытания показывают, что Венера-120b работает нормально, в целом она сравнима с Голиафом-120b. Некоторые отличия, которые я заметил: 1. Венере нужны более низкие настройки температуры, чем Голиафу. Я рекомендую температуру около 0,7 и не выше 1,0. 2. Венера в среднем дает более длительные ответы, чем Голиаф. Вероятно, из-за включения в слияние SynthIA, которая обучена выдавать длинные цепочки мыслей. 3. Венера кажется немного…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nsfwthrowitaway69
Теги: llama, not-for-all-audiences, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
