— Превосходная версия ггуфа от Lewdiculous, спасибо за добросовестную и ответственную работу. — https://huggingface.co/LWDCLS/llama3-8B-DarkIdol-2.2-Uncensored-1048K-GGUF-IQ-Imatrix-Request — превосходная версия ггуфа от mradermacher, спасибо за вашу добросовестную и ответственную преданность делу. — https://huggingface.co/mradermacher/llama3-8B-DarkIdol-2.2-Uncensored-1048K-i1-GGUF — https://huggingface.co/mradermacher/llama3-8B-DarkIdol-2.2-Uncensored-1048K-GGUF Разница с обычным квантованием в том, что я квантую вывод и встраиваю тензоры к f16. а остальные тензоры — 15k, q6k или q8_0. Это создает модели, которые мало или вообще не деградируют и имеют меньший размер. Они работают со скоростью около 3-6 т/сек на процессоре только с использованием llama.cpp. И, очевидно, быстрее на компьютерах с мощными графическими процессорами — быстрый кот на ZeroWw/llama3-8B-DarkIdol-2.2-Uncensored-1048K-GGUF. Благодаря оптимизации предпочтительной модели ее производительность превосходна в диапазоне 2000-1048K. Сценариев личного использования, таких как 8186, 32К и т. д., недостаточно. Моя основная роль заключается в управлении учетными записями виртуальных айдолов в Твиттере, помощи в пении и т. д. Хороший разговор может быть очень долгим, а иногда даже…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: aifeifei798
Теги: llama, roleplay, llama3, sillytavern, idol, en, ja, zh
Лайков: 15 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
