Метка: Tanuki - Каталог нейросетей

Метка: Tanuki

Генерация текста

team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-4bit

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のGPTQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした1000件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoGPTQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoGPTQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...

Генерация текста

team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8x8B-dpo-v1.0のAWQ 4bit量子化モデルです。 キャリブレーションセットにはizumi-lab/wikipedia-ja-20230720からランダムサンプリングした512件を利用しています。 この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQをこちらで公開しています。 また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMをこちらで公開しています。 これを以下のようにソースからビルドし推論に利用してください。 Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор:...

Генерация текста

weblab-GENIAC/Tanuki-8x8B-dpo-v1.0

Тануки-8x8Bは、フルスクラッチで約1.7Tトークン事前学習を行った8x8Bパラメータ(総パラメータ約47B、アクティブパラメータ約13B)の大規模言語モデルです。 Tanuki-8x8B-dpo-v1.0は、SFTおよびDPOにより対話用に調整されています。より詳細な情報についてはブログ記事を参照してください。 GENIAC 松尾研LLM開発プロジェクトのもと、一般公募により集まった有志の参加者(企業所属、学生、研究者等)が開発を実施しました。 AWQ 4 бита, GPTQ 4 бита, GPTQ 8 битов, GGUF цвета GGUF版は性能低下が発生している可能性があり、非推奨こちらの記事にTanuki-8x8Bおよびその量子化モデルの各種推論方法についてまとめていますので、ご確認ください。以下に一部の推論方法を解説します。また、vLLMを使って推論をする場合は独自アーキテクチャへの対応が必要となります。こちらから改変済みvLLMを以下のようにビルドしてご利用ください。なお、本モデルはデフォルトのシステムプロンプトである「以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。」以外を学習していないため、このシステムプロンプトの使用を推奨します。タスクの詳細はユーザープロンプトに記述してください。人手評価 Чат-бот Аренаを模したシステムを作成し、人手によるブラインドテストを実施しました。...