brishen/MemT-1.0-Nano-GGUF - Каталог нейросетей
Генерация текста

brishen/MemT-1.0-Nano-GGUF

Добавлено:
brishen/MemT-1.0-Nano-GGUF

Преобразование GGUF MemTensor/MemT-1.0-Nano (собственная память MemT магистрали Qwen3.6-35B-A3B). K-кванты изготовлены из конверсии BF16 без иматрицы. Во всех файлах весовые коэффициенты памяти MemT (Memt) сохраняются на уровне Q8_0, поскольку состояние памяти накапливает их ошибки над каждым зафиксированным токеном. Эти файлы содержат веса памяти MemT (blk..memt, keys qwen35moe.memt.). Upstream llama.cpp пока не поддерживает их ** и откажется их загружать. Используйте ветвь memt-native-memory из Brishen/llama.cpp. Это текущий вышестоящий llama.cpp плюс один коммит, который добавляет память MemT (CPU и CUDA), конвертер и API llama-server: чтобы преобразовать исходную контрольную точку самостоятельно: python converthftogguf.py —outtype bf16, затем llama-quantize —tensor-type memt = q80… чтобы сохранить вес памяти на уровне Q80. Сервер сохраняет состояния памяти в оперативной памяти по идентификатору. Дополнительные поля запроса на /v1/chat/completions и /completion: — memoryid: memory state to read — memorycommit: write the turns of this request into the memory when the reply ends normal — memorydocuments `: list of documents to write into the memory before generating Endpoints: GET /memory, POST /memory/{id}?action=save|restore|erase…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: brishen
Теги: gguf, memt, llama.cpp, endpoints_compatible, conversational
Лайков: 3  |  Загрузок: 3,053

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.