Vikhr-Nemo-12B-Instruct-R-21-09-24-4Bit-GPTQ
— Original Model: Vikhrmodels/Vikhr-Nemo-12B-Instruct-R-21-09-24 — This model was quantized with the Auto-GPTQ library and dataset containing english and...
Метка: gptq
sqft-phi-3.5-mini-instruct-base-gptq
— Source Model: microsoft/Phi-3.5-mini-instruct — Quantization: GPTQ-INT4 Repository: https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning/tree/main/SQFT Paper: — SQFT: Low-cost Model Adaptation in Low-precision Sparse...
Qwen2.5-3B-Instruct-GPTQ-Int8
Qwen2.5 — это последняя серия больших языковых моделей Qwen. Для Qwen2.5 мы выпускаем ряд базовых языковых моделей и...
Qwen2.5-1.5B-Instruct-GPTQ-Int4
Qwen2.5 — это последняя серия больших языковых моделей Qwen. Для Qwen2.5 мы выпускаем ряд базовых языковых моделей и...
Bielik-11B-v2.2-Instruct-GPTQ
This repo contains GPTQ format model files for SpeakLeash’s Bielik-11B-v.2.2-Instruct. DISCLAIMER: Be aware that quantised models show reduced...
sqft-qa-sparsepeft-mistral-7b-v0.3-50-gptq-math-heu
— Base Model: IntelLabs/sqft-mistral-7b-v0.3-50-base-gptq — Sparsity: 50% — Quantization: INT4 (GPTQ) — Finetune Method: SQFT + QA-SparsePEFT —...
Meta-Llama-3.1-8B-Instruct-GPTQ-Q_8
This is 8-bit GPTQ version of Meta-Llama-3.1-8B-Instruct. Quantization has been done using AutoGPTQ library. Starting with transformers >=...
Mistral-Large-Instruct-2407-GPTQ
Оригинальная базовая модель: mistralai/Mistral-Large-Instruct-2407. Ссылка: https://huggingface.co/mistralai/Mistral-Large-Instruct-2407 Исходные коды: https://github.com/vkola-lab/medpodgpt/tree/main/quantization. Модальности:Генерация текста Области применения:Диалог / чат Следование инструкциям Задача:...
Meta-Llama-3.1-70B-Instruct-GPTQ
Исходная базовая модель: meta-llama/Meta-Llama-3.1-70B-Instruct. Ссылка: https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct Исходные коды: https://github.com/vkola-lab/medpodgpt/tree/main/quantization. Модальности:Генерация текста Области применения:Диалог / чат Следование инструкциям Задача:...
gemma-2-27b-it-GPTQ
Original Base Model: google/gemma-2-27b-it. Link: https://huggingface.co/google/gemma-2-27b-it Source Codes: https://github.com/vkola-lab/medpodgpt/tree/main/quantization. Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста...