Модель построена с применением Orchestration of Expert для математической области. Специальная модель либо генерирует решения, либо, при необходимости, использует GPT-4 (или аналогичный LLM) для заполнения пробелов в своей базе знаний. В частности, при получении входных данных специальная модель сначала определяет, разрешима ли входной вопрос с помощью базовой модели. Если это решаемо, оркестратор отключается, и генерация токенов вызывается с использованием базового эксперта LLM. Если проблема сложна и требует более крупной модели, такой как GPT-4, она создает токен (т. е. token_id=32000). Оркестратор сначала обучается оценивать знания базовой модели для любого заданного запроса, затем мы переходим к базовой модели (MetaMath7b, здесь). Как правило, для любого домена вы можете создать его следующим образом: — Выберите базового эксперта LLM 🤗 — Обучите Оркестратора, специфичного для предметной области — Объедините Оркестратора с базовым экспертом ✅ В оценках с использованием набора данных GSM8k из OpenLLM Leaderboard модель Leeroo Math 7b достигает точности 84,77% в настройке из 5 шагов, что делает ее одной из лучших в своем классе и заметно превосходит базовую модель, которая получает оценки 68,84% по тому же набору данных. Это было достигнуто при использовании GPT-4 для…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: leeroo
Теги: mistral, math, orchestration_of_experts, custom_code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
