— Model creator: Qwen — Original model: Qwen/Qwen3-4B-Instruct-2507 MaziyarPanahi/Qwen3-4B-Instruct-2507-GGUF contains GGUF format model files for Qwen/Qwen3-4B-Instruct-2507. GGUF is a new format introduced by the llama.cpp team on August 21st 2023. It is a replacement for GGML, which is no longer supported by llama.cpp. Here is an incomplete list of clients and libraries that are known to support GGUF: llama.cpp. The source project for GGUF. Предлагает интерфейс командной строки и сервер. llama-cpp-python, библиотеку Python с GPU accel, поддержку LangChain и OpenAI-совместимый API-сервер. LM Studio, простой в использовании и мощный локальный графический интерфейс для Windows и macOS (Silicon) с ускорением графического процессора. Linux доступен в бета-версии по состоянию на 27.11.2023. text-generation-webui, наиболее широко используемый веб-интерфейс, со многими функциями и мощными расширениями. Поддерживает ускорение графического процессора. KoboldCpp, полнофункциональный веб-интерфейс с графическим ускорением на всех платформах и архитектурах GPU. Особенно хорошо для рассказывания историй. GPT4All, бесплатный локальный графический интерфейс с открытым исходным кодом, поддерживающий Windows, Linux и macOS с полным графическим ускорением. LoLLMS Web UI, отличный веб-интерфейс с множеством интересных и уникальных функций, включая полную модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: gguf, mistral, quantized, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit
Лайков: 3 | Загрузок: 136,685
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
