MixtureOfPhi3 — это смесь экспертов (MoE), созданная со следующими моделями с использованием mergekit: Phi-3-mini-128k-instruct Phi-3-mini-128k-instruct Этот запуск предназначен только для целей разработки, поскольку объединение двух идентичных моделей не приносит никаких преимуществ в производительности, но как только станут доступны специализированные настройки моделей Phi3, это станет отправной точкой для создания MoE из них. phixtral mlabonne, где я адаптировал код вывода к архитектуре Phi3. Код mergekit, который я настроил для объединения Phi3. Они были объединены с помощью Cheapembed`, где каждой модели присвоено векторное представление слов — например, эксперты по научной работе, рассуждения, математика и т. д.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: paulilioaica
Теги: phi3, moe, frankenmoe, merge, mergekit, lazymergekit, phi3_mergekit, microsoft/Phi-3-mini-128k-instruct
Лайков: 9 | Загрузок: 151
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
