WukongV2-Mixtral-8x7B-V0.1 — это переработанная и переработанная версия чата оригинальной базовой модели Mistralai/Mixtral-8x7B-v0.1, созданная фантастической командой Mistral. Эта модель была обучена на наборе данных из когнитивных вычислений. Модель большого языка Mixtral-8x7B (LLM) представляет собой предварительно обученную генеративную разреженную смесь экспертов. Mistral-8x7B превосходит Llama 2 70B в большинстве протестированных нами тестов. Полную информацию об этой модели можно найти в нашем блоге. Этот репозиторий содержит веса, совместимые с обслуживанием модели vLLM, а также библиотеку трансформаторов Hugging Face. Он основан на оригинальной торрент-версии Mixtral, но формат файла и имена параметров другие. Обратите внимание, что модель (пока) не может быть создана с помощью HF. По умолчанию трансформеры загружают модель с полной точностью. Поэтому вам может быть интересно еще больше снизить требования к памяти для запуска модели с помощью оптимизаций, которые мы предлагаем в экосистеме HF: Mixtral-8x7B — это предварительно обученная базовая модель и, следовательно, не имеет каких-либо механизмов модерации. Альбер Цзян, Александр Саблероль, Артур Менш, Бланш Савари, Крис Бэмфорд, Девендра Сингх Чаплот, Диего де лас Касас,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RESMPDEV
Теги: mixtral, moe, conversational, fr, it, de, es, en
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
