Tanuki-8x8B-dpo-v1.0-GPTQ-4bit
GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGPTQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした1000件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoGPTQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoGPTQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...