Это усовершенствованная версия недавно выпущенной базовой модели mistral-community/Mixtral-8x22B-v0.1. Поскольку базовая модель не была специально обучена для общения в чате, мы обучили эту модель на многоязычном наборе данных чата, чтобы сообщество LLM могло использовать эту модель для общения. Точность модели на удивление высока и имеет достаточно высокую скорость вывода (примерно 40 токенов в секунду за один пакет в наших тестах), поэтому мы считаем, что это будет полезно сообществу. Мы протестировали (и поэтому рекомендуем) запуск этой модели на vLLM. Мы рекомендуем запускать ее с сервера vLLM openAI, используя следующую команду: Затем вы можете вызвать эту модель из Python, установив пакет openai: Скоро мы будем загружать 4-битную модель AWQ, чтобы упростить запуск этой модели на других машинах (смотрите это место!). Судя по качественному тестированию, модель кажется довольно умной, особенно на английском языке, и очень хорошо запоминает факты. Его все еще можно запутать с некоторыми логическими вопросами, но он также прошел множество логических вопросов, которые я ему задал, которые другие LLM с открытым исходным кодом часто терпят неудачу. НЕУДАЧА! Банан все равно будет лежать на кухне, пока я ставлю на банан тарелку. Своего рода провал, я бы предпочел сказать: «…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lightblue
Теги: mixtral, conversational, text-generation-inference, endpoints_compatible
Лайков: 62 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
