Q80 и Q4K_M GGUF квантования ГХГ/RivetCoder-9B-A4B. Оба файла были квантованы непосредственно из канонической контрольной точки BF16, а не из распределения FP8. Эти GGUF используют general.architecture = rivetcoder, вычислительный граф, который отсутствует в stock llama.cpp. Используйте среду выполнения Windows CUDA, поставляемую в пакете/, или перестройте поставляемый исходный оверлей в соответствии с записанным базовым коммитом llama.cpp. Во время релиза обычные сборки llama.cpp, LM Studio и Ollama не могут загрузить эти файлы. Переименование архитектуры в lfm2 не является обходным путем, потому что в этом случае будет опущена маршрутизируемая экспертная коляска. Критерием выпуска является работа во время выполнения, а не оценка качества модели. — BF16, Q80 и Q4KM загружаются с пользовательской сборкой CUDA llama.cpp и генерируются реальные токены с кодом выхода 0. — Q80 и Q4KM прошли проверку схемы 506-тензора. — Все 150 значений управления маршрутизацией соответствовали контрольной точке BF16 Hugging Face. — Матрицы маршрутизатора, смещения коррекции, веса и смещения маркеров-затворов и эффективные остаточные шкалы остались F32 после квантования. — llama-сервер загрузил Q80 с полной разгрузкой графического процессора и вернул GET /health -> {«status»:»ok»}. — Q4K_M также генерирует токены с полной разгрузкой GPU.…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: HCHs
Теги: gguf, llama.cpp, custom-architecture, mixture-of-experts, coding, code-generation, q8_0, q4_k_m
Лайков: 3 | Загрузок: 53
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
