Фанци Ван, Цзыи Ян, Лунгуан Чжун, Сяоцзюнь Цюань, Синтин Хуан, Вэй Би – 26 февраля 2024 г.: 🔥 Мы выпускаем FuseChat-7B-VaRM, который представляет собой объединение трех известных чатов LLM с различной архитектурой и масштабами, а именно NH2-Mixtral-8x7B, NH2-Solar-10.7B и ОпенЧат-3.5-7Б. FuseChat-7B-VaRM достигает средней производительности 8,22 на MT-Bench, превосходя различные мощные LLM чата в масштабах 7B и 34B, такие как Starling-7B и Yi-34B-Chat, даже превосходя GPT-3.5 (март), Claude-2.1 и приближаясь к Mixtral-8x7B-Instruct. — Обзор — Выпуск модели — Быстрый старт — Построение данных — Парное объединение знаний — Объединение моделей — Оценка — Цитирование В этой работе мы предлагаем расширенную структуру FuseLLM для интеграции коллективных знаний и индивидуальных сильных сторон многоуровневых и масштабируемых чатов LLM в более мощный чат LLM, в результате чего получается FuseChat. FuseChat использует стратегию «слияние-затем-слияние», состоящую из двух основных этапов. Во-первых, он осуществляет попарное объединение знаний для исходных LLM для получения нескольких целевых LLM идентичной структуры и размера посредством облегченной точной настройки. Затем эти целевые LLM объединяются в пространстве параметров, при этом мы предлагаем новый метод VaRM…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nold
Теги: gguf, mistral, mixtral, solar, model-fusion, fusechat, en, endpoints_compatible
Лайков: 4 | Загрузок: 98
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
