WizardLM-2-8x22B_exl2_2.25bpw
Подробную информацию о модели можно найти на странице модели выше. Эти кванты были выполнены с помощью exllamav2 версии...
Метка: exl2
WizardLM-2-8x22B_exl2_2.5bpw
Подробную информацию о модели можно найти на странице модели выше. Эти кванты были выполнены с помощью exllamav2 версии...
Dolphin-Mistral-24B-Venice-Edition-exl2-6bpw
Веб-сайт: https://dphn.ai Twitter: https://x.com/dphnAI Веб-чат: https://chat.dphn.ai Telegram-бот: https://t.me/DolphinAI_bot Dolphin Mistral 24B Venice Edition — это совместный проект, который мы...
Mistral-Nemo-Instruct-2407-exl2-8bpw-h8
Это квантованная версия mistralai/Mistral-Nemo-Instruct-2407 с разрешением 8,0 бит в секунду, созданная с помощью exllamav2. Хотите купить мне чашку...
Merged-RP-Stew-V2-34B_exl2_8.0bpw
Это квант EXL2 с битрейтом 8,0 бит/вт ParasiticRogue/Merged-RP-Stew-V2-34B. Подробности о модели и информацию о слиянии можно найти на...
Yi-34B-200K-RPMerge-exl2
«Основная» ветка содержит только файл Measure.json, загрузите одну из других веток для модели (см. ниже). Каждая ветка содержит...
NemoMix-Unleashed-EXL2-4bpw
Маринара сказала, что они провели много тестов по этому вопросу, поэтому я вполне уверен, что подсчитаю это здесь....
RP-Stew-v4.0-34B
https://huggingface.co/ParasiticRogue/RP-Stew-v4.0-34B-exl2-4.65 (на данный момент) экспериментальное/тестовое слияние, чтобы попытаться расширить возможности Stew, но с некоторыми небольшими изменениями в используемых...
RP-Stew-v4.0-34B-exl2-4.65
Для квантования использовался Parquet (Bluemoon-Light/Chat-Vicuna-1.1): https://huggingface.co/datasets/ParasiticRogue/Bluemoon-Light Еще одно экспериментальное/тестовое слияние и количественный анализ, чтобы попытаться увеличить возможности Stew,...
Yi-34B-200K-RPMerge-exl2-40bpw
См. карточку основной модели: https://huggingface.co/brucethemoose/Yi-34B-200K-RPMerge Квантовано с квантованием exl2 по умолчанию, все еще изучаются преимущества и недостатки квантования...