Phi-3.5-mini-instruct-awq-g128-int4-asym-bf16-onnx-ryzen-strix
INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED...
INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED...
We propose Mixture-of-Head attention (MoH), a new architecture that treats attention heads as experts in the Mixture-of-Experts (MoE)...
— Source Model: microsoft/Phi-3.5-mini-instruct — Quantization: GPTQ-INT4 Repository: https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning/tree/main/SQFT Paper: — SQFT: Low-cost Model Adaptation in Low-precision Sparse...
This model is based on “https://huggingface.co/AXCXEPT/EZO-Qwen2.5-32B-Instruct” and automatically performs “Chain-Of-Thought” and “RAG” as custom processing to compensate for...
Модель в настоящее время следует обновлению от GLM-4-9B-Chat и теперь требует трансформаторов>=4.44.0. Обновите свои зависимости соответствующим образом. Также...
This model is a finetuned version of Phi-3.5-mini-instruct on the ReDiX/DataForge dataset. The dataset is a mixture of...
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGPTQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした1000件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoGPTQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoGPTQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...
The Jais family of models is a comprehensive series of bilingual English-Arabic large language models (LLMs). These models...
— Base Model: IntelLabs/sqft-phi-3-mini-4k-50-base — Sparsity: 50% — Quantization: No — Finetune Method: SQFT + SparsePEFT — Finetune...