phixtral-4x2_8 — это первая смесь экспертов (MoE), созданная на основе четырех моделей microsoft/phi-2, вдохновленная архитектурой mistralai/Mixtral-8x7B-v0.1. Он работает лучше, чем каждый отдельный эксперт. Оценка проводилась с использованием LLM AutoEval в пакете Nous. Проверьте YALL — еще одну таблицу лидеров LLM, чтобы сравнить ее с другими моделями. Модель была создана с использованием специальной версии библиотеки mergekit (ветвь mixtral) и следующей конфигурации: Вот ноутбук Colab для запуска Phixtral с 4-битной точностью на бесплатном графическом процессоре T4. Вдохновленный mistralai/Mixtral-8x7B-v0.1, вы можете указать numexpertspertok и numlocalexperts в файле config.json (по умолчанию 2 и 4). Эта конфигурация автоматически загружается в файл Configuration.py`. vince62s реализовал код вывода MoE в файле modelingphi.py`. В частности, см. класс МО. Особая благодарность vince62s за код вывода и динамическую настройку количества экспертов. Он был очень терпелив и помог мне все отладить. Спасибо Чарльзу Годдарду за библиотеку mergekit и реализацию МО для клоунов. Спасибо ehartford, lxuechen, Yhyu13 и mrm8488 за их точно настроенные модели фи-2.
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: mlabonne
Теги: phi-msft, moe, nlp, code, cognitivecomputations/dolphin-2_6-phi-2, lxuechen/phi-2-dpo, Yhyu13/phi-2-sft-dpo-gpt4_en-ep1, mrm8488/phi-2-coder
Лайков: 208 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
