Yi-34B-200K-RPMerge-exl2
«Основная» ветка содержит только файл Measure.json, загрузите одну из других веток для модели (см. ниже). Каждая ветка содержит...
Метка: exllamav2
Yi-34B-200K-RPMerge-exl2-40bpw
См. карточку основной модели: https://huggingface.co/brucethemoose/Yi-34B-200K-RPMerge Квантовано с квантованием exl2 по умолчанию, все еще изучаются преимущества и недостатки квантования...
Yi-34B-200K-RPMerge
Объединение нескольких моделей Yi 34B с единственной целью: контекст 40 тыс.+, рассказывание историй с подсказками. Разочарованный некоторыми особенностями...