Meta-Llama-3.1-8B-AQLM-PV-2Bit-1×16-hf
Official AQLM quantization of meta-llama/Meta-Llama-3.1-8B finetuned with PV-Tuning. For this quantization, we used 1 codebook of 16 bits...
Метка: aqlm
Mistral-7B-Instruct-v0.2-AQLM-2Bit-2×8
Official AQLM quantization of mistralai/Mistral-7B-Instruct-v0.2 . Модальности:Генерация текста Области применения:Диалог / чат Следование инструкциям Задача: Генерация текста Автор:...
Mixtral-8x7b-AQLM-2Bit-1×16-hf-test-dispatch
WARNING: this checkpoint might be obsolete. Please use the updated Mixtral checkpoint. Модальности:Генерация текста Задача: Генерация текста Автор:...
Meta-Llama-3-70B-AQLM-PV-2Bit-1×16
Официальное квантование мета-ламы/Мета-ламы-3-70B с использованием PV-Tuning поверх AQLM. Для этого квантования мы использовали одну кодовую книгу из 16...
Meta-Llama-3-8B-AQLM-PV-2Bit-1×16
Официальное квантование мета-ламы/Мета-ламы-3-8B с использованием PV-Tuning поверх AQLM. Для этого квантования мы использовали одну кодовую книгу из 16...
deepseek-coder-33b-instruct-AQLM
[🏠Домашняя страница] | [🤖 Чат с DeepSeek Coder] | [Раздор] | [Wechat(微信)] AQLM квантованная версия модели deepseek-coder-33b-instruct. Дополнительную...
gemma-2b-AQLM-2Bit-2×8-hf
Чтобы узнать больше о выводе, а также о том, как самостоятельно квантовать модели, обратитесь к официальному репозиторию GitHub....
Llama-2-7b-AQLM-2Bit-1×16-hf
UPD (20.02.2024). Мы применили глобальную точную настройку поверх квантованной модели и улучшили результаты по сравнению с первой версией....
GLM-5.2-NVFP4-AQLM-hybrid
Параметр GLM-5.2 с 744 байтами, квантованный с помощью двухуровневой схемы NVFP4+AQLM для каждого эксперта, обслуживает полный кэш KV...
cat-llama-3-8b-instruct-aqlm
Название модели AI: Llama 3 8B «Построено с помощью Meta Llama 3» https://llama.meta.com/llama3/license/ Полное пошаговое руководство для воспроизведения...