OpenChat — это набор языковых моделей с открытым исходным кодом, оптимизированных и доработанных с помощью стратегии, основанной на автономном обучении с подкреплением. Мы используем около 80 тысяч разговоров ShareGPT, стратегию кондиционирования и взвешенные потери, чтобы обеспечить выдающуюся производительность, несмотря на наш простой подход. Наша конечная цель — разработать высокопроизводительную, коммерчески доступную модель большого языка с открытым исходным кодом, и мы постоянно идем навстречу этой цели. 🔥 Первое место среди 13 миллиардов моделей с открытым исходным кодом | 89,5% побед на AlpacaEval | Оценка 7,19 на MT-bench 🕒 Исключительно эффективная точная настройка без дополнений, требуется всего 15 часов на 8xA100 80G. Чтобы использовать эти модели, мы настоятельно рекомендуем установить пакет OpenChat, следуя руководству по установке, и использовать OpenChat OpenAI-совместимый API-сервер, выполнив команду обслуживания из таблицы ниже. Сервер оптимизирован для высокопроизводительного развертывания с использованием vLLM и может работать на графическом процессоре с оперативной памятью не менее 48 ГБ или на двух потребительских графических процессорах с тензорным параллелизмом. Чтобы включить тензорный параллелизм, добавьте —tensor-parallel-size 2 к обслуживающей команде. При запуске сервер прослушивает запросы на локальном хосте: 18888 и совместим с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openchat
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 34 | Загрузок: 994
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
