Sdff-Ltba/LightChatAssistant-2x7Bと全く同じ手法を用いつつ、対象を4モデルに拡張してそれらをMoEしたモデルです。素晴らしい手法を提案いただいた@Sdff-Ltbaさんに感謝します。モデルサイズは大きくなっていますが、推論に同時に使われるエキスパートは2つなので、GPUにオフロードさえできれば元のSdff-Ltba/LightChatAssistant-2x7Bとほぼ同じような速度で動きます。以下の4モデルをChat Vectorの加算によって対話強化して素材に使用しています。 — NTQAI/chatntq-ja-7b-v1.0 — Stabilityai/japanese-stablelm-instruct-gamma-7b — Elizezen/Antler-7B — Elizezen/Hameln-japanese-mistral-7B Чат Vectorの適用方法はSdff-Ltba/LightChatAssistant-2x7Bと同じで、Mistral- 7B-Instruct-v0.2, Mistral-7B-v0.1, 0.8, してそれぞれのモデルに足しています。
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Aratako
Теги: mixtral, mistral, not-for-all-audiences, nsfw, ja, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
