Развитие языковых моделей с открытым исходным кодом с данными смешанного качества. Версия Llama 3: OPENCHAT3.6 20240522 🏆 В целом лучшая по производительности модель 8B с открытым исходным кодом 🏆 🚀 Превосходит по производительности Llama-3-8B-Instruct и точные настройки/слияния с открытым исходным кодом 🚀 * Llama-3-Instruct часто не может выполнить несколько шагов шаблоны. См. пример. Чтобы использовать эту модель, мы настоятельно рекомендуем установить пакет OpenChat, следуя руководству по установке в нашем репозитории, и использовать OpenChat OpenAI-совместимый API-сервер, выполнив команду обслуживания из таблицы ниже. Сервер оптимизирован для высокопроизводительного развертывания с использованием vLLM и может работать на потребительском графическом процессоре с 24 ГБ ОЗУ. Чтобы включить тензорный параллелизм, добавьте —tensor-parallel-size N к обслуживающей команде. После запуска сервер прослушивает запросы по адресу localhost:18888 и совместим со спецификациями API OpenAI ChatCompletion. Для справки обратитесь к примеру запроса ниже. Кроме того, вы можете использовать веб-интерфейс OpenChat для удобства пользователя. Если вы хотите развернуть сервер как онлайн-сервис, вы можете использовать —api-keys sk-KEY1 sk-KEY2 … для указания разрешенных ключей API и —disable-log-requests —disable-log-stats —log-file openchat.log для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openchat
Теги: llama, openchat, llama3, C-RLFT, conversational, text-generation-inference, endpoints_compatible
Лайков: 157 | Загрузок: 11,390
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
