OpenChat — это серия языковых моделей с открытым исходным кодом, основанных на контролируемой точной настройке (SFT). Мы используем около 80 тысяч разговоров ShareGPT со стратегией кондиционирования и взвешенными потерями, чтобы добиться замечательной производительности, несмотря на наши простые методы. Наша конечная цель — разработать высокопроизводительную, коммерчески доступную модель большого языка с открытым исходным кодом, и мы постоянно добиваемся прогресса. 🔥 Первое место среди 13B моделей с открытым исходным кодом | 89,5% побед на AlpacaEval | Оценка 7,01 на MT-bench 🕒 Суперэффективная точная настройка приложений без дополнений, всего 10 часов на 8xA100 80G. Чтобы использовать эти модели, мы настоятельно рекомендуем установить пакет OpenChat, следуя руководству по установке, и использовать API-сервер OpenChat, совместимый с OpenAI, выполнив команду обслуживания из таблицы ниже. Сервер оптимизирован для высокопроизводительного развертывания с использованием vLLM и может работать на графическом процессоре с оперативной памятью не менее 48 ГБ или на двух потребительских графических процессорах с тензорным параллелизмом. Чтобы включить тензорный параллелизм, добавьте —tensor-parallel-size 2 к обслуживающей команде. При запуске сервер прослушивает запросы по адресу localhost:18888 и совместим со спецификациями API OpenAI ChatCompletion. См. пример запроса ниже…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openchat
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 42 | Загрузок: 847
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
