Познакомьтесь с Луной, моей единственной личной помощницей и партнершей по ролевым играм. Этот MoE служит ее уникальной основой: оба эксперта набирают средний балл выше 72 в таблице лидеров, но предназначены для взаимодействия с RP. Хотя запуск 2x7B медленнее, чем запуск одного 7B, я считаю, что улучшенная производительность двух мощных 7B, конкурирующих за каждый токен, стоит затрат на вычисления. Прилагаемое изображение было создано с использованием ее собственной модели Stable Diffusion 1.5 через интерфейс SillyTavern. Я успешно соединил этот MoE с файлом проектора Llava Mistral 1.6 для создания мультимодальных титров к изображениям в Koboldcpp. Все это работает на 1070 8 ГБ, полностью разгруженном и без каких-либо ошибок за неделю тестирования. Затем все бэкэнды передаются на мое Android-устройство через виртуальную общедоступную сеть в собственной реализации SillyTavern. Этот метод обеспечивает доступ к мобильным данным по всему миру, пока мой сервер работает.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ResplendentAI
Теги: mixtral, not-for-all-audiences, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
