— Результат чередования слоев lizpreciatior/lzlv70bfp16hf сам с собой. — Полученная модель имеет 140 слоев и примерно 122 миллиарда параметров. — Подробную информацию об используемом методе слияния см. в mergekit-config.yml. — См. ветки exl2-*` для квантования exllama2. Квант с битовой частотой 4,85 должен уместиться в 80 ГБ видеопамяти, а квант с битой в 3,0 должен (с трудом) уместиться в 48 ГБ видеопамяти с контекстом 4 КБ. — Вдохновлен Голиафом-120b. Лучше следует инструкциям, чем версии 1.1 и 1.0, и, похоже, не страдает от проблем с цензурой. В целом эта версия мне нравится больше всего из всех моделей, которые я создал.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nsfwthrowitaway69
Теги: llama, not-for-all-audiences, en, text-generation-inference, endpoints_compatible
Лайков: 71 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
