KnutJaegersberg/2-bit-LLMs

Это коллекция моделей, в основном состоящих из более крупных LLM, квантованных до 2 бит с помощью нового подхода, основанного на quip#, в llama.cpp. Иногда доступны как xs, так и xxs. Обратите внимание, что для некоторых более крупных моделей, таких как модели на базе Qwen-72b, длина контекста может быть слишком большой для большинства графических процессоров, поэтому вам придется уменьшить ее самостоятельно в textgen-webui с помощью настройки nctx. Масштабирование веревки для масштабированных моделей, таких как longalpaca или пряжа, должно быть равно 8, соответственно установите compresspos_emb. — Senku-70b — Nous-Hermes2-70b — Miquliz-120b-v2.0 — Tess-72b — WizardLM-70b — Qwen1.5-72b-Chat — CausalLM-72b — Xwin-LM-70b — Codellama-70b-Instruct — DeepMoney-67b-чат — Deepseek 67b Чат — DiscoLM-120b — BigWeave-103b — Saily-100b — Nous Hermes 34b — Kafka-70b-Немецкий — Kafka-Mixtral-Немецкий — LongAlpaca-70B — Mistral-Alpha-70b — MoMo-72B-lora-1.8.7-DPO — Notux Mixtral — Qwen-72b — Смауг-72b — Smaug-34b — Synthia-70B — Tess-M — Yarn-Llama2-70b-32k — Laser Mistral Оригинальная модель: https://huggingface.co/ShinojiResearch/Senku-70B-Full Оригинальная модель: https://huggingface.co/NousResearch/Nous-Hermes-2-Llama-2-70B Оригинальная модель: https://huggingface.co/wolfram/miquliz-120b-v2.0 Оригинальная модель: https://huggingface.co/migtissera/Tess-72B-v1.5b…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: KnutJaegersberg
Теги: gguf, endpoints_compatible
Лайков: 91  |  Загрузок: 957

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.