Yi-Coder-9B-Chat-AWQ
Model creator: 01-ai Original model: Yi-Coder-9B-Chat AWQ quantization: done by stelterlab in INT4 GEMM with AutoAWQ by casper-hansen...
Метка: awq
Hermes-3-Llama-3.1-8B-AWQ
— Model creator: NousResearch — Original model: Hermes-3-Llama-3.1-8B AWQ is an efficient, accurate and blazing-fast low-bit weight quantization...
Tanuki-8x8B-dpo-v1.0-AWQ
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
Bielik-11B-v2.2-Instruct-AWQ
This repo contains AWQ format model files for SpeakLeash’s Bielik-11B-v.2.2-Instruct. DISCLAIMER: Be aware that quantised models show reduced...
llama3.1-8b-Instruct-awq
Это версия квантования AWQ llama3.1-8b. Если у вас более 4 ГБ памяти GPU, вы можете запустить его на...
INF-34B-Chat-AWQ
INF-34B has 34 billion parameters with a context window length of 32K, and is trained on about 3.5T...
magnum-72b-v1-awq
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: emaibb Теги: qwen2, conversational, text-generation-inference,...
DeepSeek-V2-Lite-Chat-AWQ
Загрузка модели | Результаты оценки | Архитектура модели | Платформа API | Лицензия | Цитирование ———: |: —————:...
saiga_aya_23_35b_sft_m1_d5_awq_4bit
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: IlyaGusev Теги: cohere, conversational, text-generation-inference,...
L3-70B-Euryale-v2.1-AWQ
Модель генерации текста Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: anyisalin Теги: llama, conversational, text-generation-inference,...