manu02/Octen-Embedding-8B-bnb-4bit-nf4-dq

This model is a 4-bit quantized version of the original Octen/Octen-Embedding-8B model, optimized for reduced memory usage while maintaining performance. — Quantization Type: 4-bit — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16 — bnb4bitquantstorage: uint8 — Original Footprint: 16377.03 MB (BFLOAT16) — Quantized Footprint: 5958.38 MB (UINT8) — Memory Reduction**: 63.6%

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: manu02
Теги: qwen3, quantized, 4bit, bnb, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 17

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.