ajh-code/Qwen3.8-27B-Escha-W2-16GB-120Kctx-KVarN - Каталог нейросетей
Генерация текста

ajh-code/Qwen3.8-27B-Escha-W2-16GB-120Kctx-KVarN

Добавлено:
ajh-code/Qwen3.8-27B-Escha-W2-16GB-120Kctx-KVarN

Запустите полную 27-битную модель Escha W2 с контекстом до 120 000 на одном 16-гигабайтном графическом процессоре NVIDIA, используя реальный упакованный кэш KVarN K4/V4. В текущем наборе тестов с 45-точечным KV-кэшем потери качества не наблюдалось; численное сходство упакованного внимания превышает 0,999999. Оригинальная модель Escha · среда выполнения Escha SGLang · KVarN · статья о KVarN. В этом репозитории намеренно не дублируются веса или скомпилированный алгоритм Escha Labs. The root config.json is a Hugging Face model query file, and the recommended whole-repository download fetches it. This allows Hugging Face to track this package’s downloads independently from the upstream model and runtime. Versioning begins with v1.0 experimental. The implementation works; the hardware matrix and workload-quality matrix will continue to grow. Requirements: Linux x86-64, Python 3.12, CUDA 12.x, a working C compiler and Python development headers, and an NVIDIA sm80–sm120 GPU. The default 120K profile requires a 16 GB-class card and about 30 GB free disk space. Nothing is installed system-wide. setup.sh creates .venv locally, installs Torch 2.9/cu128 and the pinned Escha runtime, then downloads the pinned model. The OpenAI-compatible endpoint defaults…

Модальности:
Генерация текста

Области применения:
Генерация кода


Задача: Генерация текста
Автор: ajh-code
Теги: qwen3_5, sglang, qwen3, escha, kvarn, kv-cache-quantization, 4-bit, long-context
Лайков: 3  |  Загрузок: 38

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.