6bpw/h6 exl2 quantization of xxx777xxxASD/ChaoticSoliloquy-4x8B using default exllamav2 calibration dataset. Experimental RP-oriented MoE, the idea was to get a model that would be equal to or better than the Mixtral 8x7B and it’s finetunes in RP/ERP tasks. — ChaoticNeutrals/PoppyPorpoise-v0.6-L3-8B — jeiku/ChaosRPl38B — openlynn/Llama-3-Soliloquy-8B — Sao10K/L3-Solana-8B-v1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: JayhC
Теги: mixtral, moe, conversational, en, text-generation-inference, endpoints_compatible, 6-bit, exl2
Лайков: 3 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.