— Превосходная версия ггуфа от Lewdiculous, спасибо за добросовестную и ответственную работу. — https://huggingface.co/LWDCLS/llama3-8B-DarkIdol-2.3-Uncensored-32K-GGUF-IQ-Imatrix-Request — превосходная версия ггуфа от mradermacher, спасибо за вашу добросовестную и ответственную преданность делу. — https://huggingface.co/mradermacher/llama3-8B-DarkIdol-2.3-Uncensored-32K-i1-GGUF — https://huggingface.co/mradermacher/llama3-8B-DarkIdol-2.3-Uncensored-32K-GGUF Разница с обычным квантованием заключается в том, что я квантую выходные данные и встраиваю тензоры в ф16. а остальные тензоры — 15k, q6k или q8_0. Это создает модели, которые мало или вообще не деградируют и имеют меньший размер. Они работают со скоростью около 3-6 т/сек на процессоре только с использованием llama.cpp. И, очевидно, быстрее на компьютерах с мощными графическими процессорами — быстрый кот на ZeroWw/llama3-8B-DarkIdol-2.3-Uncensored-32K-GGUF. Комбинация модулей была переработана для лучшего выполнения различных ролей и адаптирована для мобильных телефонов. — Экономия денег(LLama 3) — только тест ru. — Модели ввода только для ввода текста. Модели вывода генерируют только текст и код. — Без цензуры — Быстрый ответ — В основе используется модель wingian/Llama-3-8b-64k-PoSE (теоретическая поддержка…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: aifeifei798
Теги: llama, roleplay, llama3, sillytavern, idol, en, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 373
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
