Yi-Coder-9B-Chat-AWQ
Model creator: 01-ai Original model: Yi-Coder-9B-Chat AWQ quantization: done by stelterlab in INT4 GEMM with AutoAWQ by casper-hansen...
Метка: 4-bit
Hermes-3-Llama-3.1-8B-AWQ
— Model creator: NousResearch — Original model: Hermes-3-Llama-3.1-8B AWQ is an efficient, accurate and blazing-fast low-bit weight quantization...
c4ai-command-r-plus-08-2024-bnb-4bit
We have a free Google Colab Tesla T4 notebook for Llama 3.1 (8B) here: https://colab.research.google.com/drive/1Ys44kVvmeZtnICzWz0xgpRnrIOjZAuxp?usp=sharing All notebooks are...
Tanuki-8x8B-dpo-v1.0-GPTQ-4bit
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGPTQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした1000件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoGPTQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoGPTQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
Tanuki-8x8B-dpo-v1.0-AWQ
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
Bielik-11B-v2.2-Instruct-AWQ
This repo contains AWQ format model files for SpeakLeash’s Bielik-11B-v.2.2-Instruct. DISCLAIMER: Be aware that quantised models show reduced...
Bielik-11B-v2.2-Instruct-GPTQ
This repo contains GPTQ format model files for SpeakLeash’s Bielik-11B-v.2.2-Instruct. DISCLAIMER: Be aware that quantised models show reduced...
sqft-qa-sparsepeft-mistral-7b-v0.3-50-gptq-math-heu
— Base Model: IntelLabs/sqft-mistral-7b-v0.3-50-base-gptq — Sparsity: 50% — Quantization: INT4 (GPTQ) — Finetune Method: SQFT + QA-SparsePEFT —...
insane-llama3.1-70b-4BIT
— Developed by: Devxo — License: apache-2.0 — Finetuned from model :** insane-llama3.1-70b-merged4bit This llama model was trained...
Roast_Bot
Welcome to the Mistral Roastbot model repository! This model has been fine-tuned on custom Roast data and is...