日本語が滑らかで、高速なチャット・ノベル生成モデルを目指して作成しました。 32 КБ, ContextSize, iQ3_XXS, 12 ГБ видеопамяти, 12 ГБ видеопамяти, 12 ГБ видеопамяти,パラメータ数が小さくても優秀なベンチマークスコアを持つ、Mis tral7Bモデルをベースとした日本語対応モデルを使用しました。 2. ChatVector — это приложение ChatVector, которое может быть использовано в MoE化しました. 1. ChatVectorは以下を用いて適用します。chatvector`を0.8倍にするのはaixsatoshi/Sw allow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2を参考にしました。 2.作成されたモデルディレクトリにはtokenizer関係のファイルがないので、ChatVe актерを適用する日本語モデルから(上の例だとElizezen/Antler-7B)足りないファイルをコピーします。[specialtokensmap.json、tokenizer.json、tokenizer.model、tokenizer_config.json] 3.作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSiz eの内容をMistral7B-Instructの通りに修正します。(一つ目以外はあまり理解していない) — «maxpositionembeddings»を32768 — «ropetheta»を1000000.0 — «скользящее окно»をnull config.ymlは以下を使用しました。Undi95/Mixtral-8x7B-MoE-RP-Storyを参考にしました。 — ЦП: Ryzen 5 5600X — Графический процессор: GeForce RTX 3060 12 ГБ — ОЗУ: DDR4-3200 96 ГБ — ОС: Windows 10 — программное обеспечение: Python 3.12.2、KoboldCpp v1.61.2 (デフォルトから変更したもののみ記載) — уровни графического процессора: 33 (33以上でフルロード) — Размер контекста: 32768 — Chat Vectorを使って日本語LLMをチャットモデルに改造する #Python — Qiita -学習済みの LLM を束ねて Смесь экспертов を作るテク
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Sdff-Ltba
Теги: mixtral, mistral, merge, moe, not-for-all-audiences, nsfw, ja, text-generation-inference
Лайков: 46 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
