Уменьшенная версия Венеры-120b, использующая те же базовые модели. — Результат чередования слоев Sao10K/Euryale-1.3-L2-70B, NousResearch/Nous-Hermes-Llama2-70b и migtissera/SynthIA-70B-v1.5 с использованием mergekit. — Полученная модель имеет 120 слоев и примерно 103 миллиарда параметров. — Подробную информацию об используемом методе слияния см. в mergekit-config.yml. — См. ветки exl2- для квантования exllama2. Квант с битой 5,65 бита в минуту должен вписываться в 80 ГБ видеопамяти, а квант со скоростью 3,35 бита в минуту — в 48 ГБ видеопамяти. Кажется, немного более связно, чем Venus-120b, вероятно, из-за использования SynthIA 1.2b вместо SynthIA 1.5.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nsfwthrowitaway69
Теги: llama, not-for-all-audiences, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
