Фанци Ван†, Синтин Хуан‡, Дэн Цай‡, Сяоцзюнь Цюань†, Вэй Би‡, Шумин Ши‡ – 22 января 2024 г.: 🔥 Мы выпускаем FuseLLM-7B, который представляет собой объединение трёх основных LLM с открытым исходным кодом и разными архитектурами, включая Llama-2-7B, OpenLLaMA-7B и МПТ-7Б. — Обзор — Выпуск модели — Быстрый старт — Построение данных — Обучение — Оценка — Цитирование В этом исследовании мы исследуем область объединения знаний для LLM, чтобы создать единую модель, которая сочетает в себе возможности и сильные стороны нескольких структурно различных LLM. Для достижения этой цели мы вводим FuseLLM, который сначала использует генеративное распределение этих исходных LLM для воплощения как их коллективных знаний, так и индивидуальных сильных сторон, а затем передает их целевому LLM посредством облегченного непрерывного обучения. В отличие от подходов к ансамблю моделей, которые требуют параллельного развертывания нескольких LLM или методов объединения весов, которые обычно ограничиваются LLM с идентичной архитектурой, FuseLLM предназначен для поддержки объединения нескольких LLM с различными архитектурами в более мощный LLM. Явно передавая свои знания и возможности одному целевому LLM, FuseLLM предлагает…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Wanfq
Теги: llama, open-llama, mpt, model-fusion, fusellm, en, model-index, text-generation-inference
Лайков: 22 | Загрузок: 664
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
