phixtral-2x2_8 — это первая смесь экспертов (MoE), созданная на основе двух моделей microsoft/phi-2, вдохновленная архитектурой mistralai/Mixtral-8x7B-v0.1. Он работает лучше, чем каждый отдельный эксперт. Оценка проводилась с использованием LLM AutoEval в пакете Nous. Проверьте YALL — еще одну таблицу лидеров LLM, чтобы сравнить ее с другими моделями. Модель была создана с использованием специальной версии библиотеки mergekit (ветвь mixtral) и следующей конфигурации: Вот ноутбук Colab для запуска Phixtral с 4-битной точностью на бесплатном графическом процессоре T4. Вдохновленный mistralai/Mixtral-8x7B-v0.1, вы можете указать numexpertspertok и numlocalexperts в файле config.json (2 для обоих по умолчанию). Эта конфигурация автоматически загружается в файл Configuration.py`. vince62s реализовал код вывода MoE в файле modelingphi.py`. В частности, см. класс МО. Особая благодарность vince62s за код вывода и динамическую настройку количества экспертов. Он был очень терпелив и помог мне все отладить. Спасибо Чарльзу Годдарду за библиотеку mergekit и реализацию МО для клоунов. Спасибо ehartford и lxuechen за их доработанные модели фи-2.
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: phi-msft, moe, nlp, code, cognitivecomputations/dolphin-2_6-phi-2, lxuechen/phi-2-dpo, conversational, custom_code
Лайков: 149 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
