О боже, новая модель архитектуры в Трансформерах! Пора заняться с ним нечестивыми вещами. Что, если вместо обучения МО с нуля мы возьмем несколько предварительно обученных моделей «Мистралей» и посадим их в маленькую клоунскую машинку? Использует детали из следующих моделей: Q-bert/MetaMath-Cybertron-Starling NeverSleep/Noromaid-7b-v0.1.1 teknium/Mistral-Trismegistus-7B Meta-math/MetaMath-Mistral-7B * PocketDoc/Dans-AdventurousWinds-Mk2-7b Работает и генерирует связный текст. Большой вопрос здесь в том, работает ли хак, который я использовал для заполнения ворот МО, достаточно хорошо, чтобы воспользоваться преимуществами всех экспертов. Давайте узнаем! Подскажите формат: может альпака??? или чатмл??? жизнь полна загадок
Модальности:
Генерация текста
Задача: Генерация текста
Автор: chargoddard
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 56 | Загрузок: 777
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
