Чат VectorとEvoLLMの手法に影響を受けています。 英語モデルからchat векторと物語векторを作成して、日本語モデルの各La да, への最適な加算比率を進化戦略で求めて作成したモデルです。 GPT-4).では、自分でモデルを作ろうと思ったが、数件のデータセット作成で力尽きた。自分で話を作れるなら、誰もLLMに頼まないのだ。うちひしがれる中、Объединение моделейによるLLMの機能追加が話題になり始めていた。 特に、Chat Vectorによるchat вектор追加によるтонкая настройка不要なчатモデル構築手法が目に入った。これならば、適当な英語モデルから物語作成vectorを作り、日本語モデルに追加することで寝る前の物語を作ってくれるのではないだろうか。でも、こっちの意向をちゃんと聞いてくれないかもしれない、何かしら汎用的なchatモデルの機能も追加しないといけないのではないか。そんなことを考えていると、sakana AIのEvoLLMの進化戦略によるmerge最適化が話題になった。よし、多分やってることは結構違うだろうが、進化戦略でLayerごとに物語vectorとchat вектор. Swallow-MS-7b-v0.1に対して、Layer毎に適切な加算割合でГермес-2-Про-Мистраль-7bのчат векторとMistral-7B-Instruct-v0.2-Neural-Storyの物語vectorを足したものです。加算割合は心に響きそうなものを進化戦略で求めていますが、うまくいっているかは不明です。
Модальности:
Генерация текста
Задача: Генерация текста
Автор: napopoa32
Теги: mistral, text-generation-inference, swallow, ja, endpoints_compatible
Лайков: 14 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
