Этот репозиторий содержит преобразование GGUF контрольной точки Ornith AI Ornith-1.5-35B-A3B-NVFP4 для использования с совместимыми механизмами вывода на основе GGML/llama.cpp. Цель этого преобразования состоит в том, чтобы сохранить собственное представление модели со смешанной точностью NVFP4 в GGUF, а не рекантировать модель в другой формат квантования. — Intended runtime: llama.cpp and other runtimes supporting GGUF NVFP4 tensors The original Hugging Face Safetensors checkpoint was converted using the converthftogguf.py` tooling from llama.cpp. The conversion preserves the source checkpoint’s NVFP4 tensors rather than converting the model to FP16, BF16, or FP32 and subsequently requantizing it. text Ornith-1.5-35B-A3B-NVFP4 │ │ Обнимающиеся лицевые предохранители ▼ converthftogguf.py │ │ Нативное представление GGUF NVFP4 ▼ Ornith-1.5-35B-A3B-NVFP4.gguf │ ▼ llama.cpp
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TizzyT566
Теги: gguf, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 788
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
