Mixtral-8x7B-Instruct-2bit
Это 2-битное квантование mistralai/Mixtral-8x7B-Instruct-v0.1 с использованием QuIP#. В качестве альтернативы вы можете использовать ветку vLLM для более быстрого...
Метка: QUiP
Qwen-72B-Chat-2bit
Это 2-битное квантование Qwen/Qwen-72B-Chat с использованием QuIP#. Для задач, связанных с китайским языком, вместо этого используйте ветку zh,...