Это тестовый запуск будущей модели moe с параметрами 70b. Я взял WizardLM/WizardLM-70B-V1.0 и migtissera/Synthia-70B в качестве двух базовых моделей и создал подсказки дискриминатора, которые перенаправляют технические, логические и математические вопросы на сторону Wizard, а затем все творческие или разговорные вопросы на сторону Synthia. Теперь, когда это работает для меня, я собираюсь перейти к точной настройке моделей для более конкретных задач. Эта модель требует около 240 ГБ видеопамяти для вывода в полном разрешении. Насколько мне известно, это первая общедоступная модель моэ с параметром 125В. Конечно, я планирую делать больше и делиться. Надеюсь, я смогу добавить больше информации об этой модели, она отлично загружается и хорошо реагирует. Это может занять у меня немного времени, так как я хочу создать «Цербер» с точно настроенными моделями и выпустить его. Но наслаждайтесь этой моделью llama2.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ibivibiv
Теги: mixtral, moe, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 47
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
