Exllama quant of NeverSleep/Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss Вам понадобится 24 ГБ видеопамяти для запуска этой модели примерно с половиной контекста (16 КБ, вы, вероятно, можете пойти и немного выше)
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Kooten
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.