Развитие языковых моделей с открытым исходным кодом с данными смешанного качества и контекстом 32 тыс. (GGUF) OPENCHAT3.5 0106 🏆 В целом лучшая по эффективности модель 7B с открытым исходным кодом 🏆 🤖 Превосходит ChatGPT (март) и Grok-1 🤖 🚀 Улучшение на 15 пунктов в кодировании по сравнению с OpenChat-3.5🚀 Новые функции 💡 2 режима: кодирование + универсальный, математическое рассуждение 💡 🧑⚖️ Экспериментальная поддержка возможностей оценки и обратной связи 🧑⚖️ 1. Использование 2. Тесты 3. Ограничения 4. Лицензия 6. Цитирование 7. Благодарности Чтобы использовать эту модель, мы настоятельно рекомендуем установить пакет OpenChat, следуя руководству по установке в нашем репозитории. и используя OpenChat OpenAI-совместимый API-сервер, выполнив команду обслуживания из таблицы ниже. Сервер оптимизирован для высокопроизводительного развертывания с использованием vLLM и может работать на потребительском графическом процессоре с 24 ГБ ОЗУ. Чтобы включить тензорный параллелизм, добавьте —tensor-parallel-size N к обслуживающей команде. После запуска сервер прослушивает запросы по адресу localhost:18888 и совместим со спецификациями API OpenAI ChatCompletion. Для справки обратитесь к примеру запроса ниже. Кроме того, вы можете использовать веб-интерфейс OpenChat для удобства пользователя. Если вы хотите развернуть…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CallComply
Теги: gguf, openchat, mistral, C-RLFT, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
