Оригинальная модель: https://huggingface.co/gugujiji/novel-humanize-4b Детали модели: — Количество параметров: 4B (контрольная точка источника) — Поддержка ввода: текст — Спекулятивное декодирование: нет — Иматрица: да — Детали Не знаете, что выбрать? Grab Q4KM (2,59ГБ) — обычно хорошее сочетание размера и производительности. Инструкции по загрузке доступны здесь Эти кванты запускаются с помощью llama.cpp — устанавливаются в одну строку через llama.app: llama-server включает встроенный веб-интерфейс чата, который по умолчанию обслуживается по адресу http://localhost:8080. Эти кванты были сделаны с помощью llama.cpp release b11845 — если архитектура этой модели поддерживается заново, вам понадобится этот релиз или более новый для их запуска. Они также работают в: LM Studio · koboldcpp · ramalama · Jan AI · Text Generation Web UI · LoLLMs · Atomic Chat Некоторые из этих файлов были построены с макетом, вычисленным для этой модели вместо стандартных универсальных правил llama.cpp. Q4KM по-прежнему в основном Q4K; дополнительная точность относится к весам, к которым эта конкретная модель наиболее чувствительна. S, M или L в названии говорит о том, насколько модель остается с базовой точностью: около 90% для S, 70% для M и 50% для L. Имя L — это просто большой размер его семьи. Q4KL для Q4KM — это то же самое, что Q4KM для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, chinese, novel, rewriting, zh, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 6,676
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
