TizzyT566/Ornith-1.5-35B-A3B-NVFP4-512K-GGUF - Каталог нейросетей
Генерация текста

TizzyT566/Ornith-1.5-35B-A3B-NVFP4-512K-GGUF

Добавлено:
TizzyT566/Ornith-1.5-35B-A3B-NVFP4-512K-GGUF

Этот репозиторий содержит преобразование GGUF контрольной точки Ornith AI Ornith-1.5-35B-A3B-NVFP4 для использования с совместимыми механизмами вывода на основе GGML/llama.cpp. Цель этого преобразования состоит в том, чтобы сохранить собственное представление модели со смешанной точностью NVFP4 в GGUF, а не рекантировать модель в другой формат квантования. Длина контекста модели была увеличена до 524288 токенов (512K) с использованием YaRN с коэффициентом масштабирования ROPE, равным 2, что позволяет ей обрабатывать значительно более длинные последовательности, чем исходная контрольная точка. — Предполагаемая среда выполнения: llama.cpp и другие среды выполнения, поддерживающие тензоры GGUF NVFP4. Исходная контрольная точка Hugging Face Safetensors была преобразована с использованием инструментария `converthftogguf.py` из llama.cpp. Преобразование сохраняет тензоры NVFP4 исходной контрольной точки, а не преобразует модель в FP16, BF16 или FP32 и впоследствии рекантирует ее. Расширение длины контекста до 524288 токенов было применено с использованием YaRN с коэффициентом масштабирования КАНАТА 2. Следующие настройки были протестированы на RTX 5090 под управлением llama.cpp:

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: TizzyT566
Теги: gguf, endpoints_compatible, conversational
Лайков: 3  |  Загрузок: 317

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.