> P.S.: 6T жетонов предварительного обучения + 0,003 init std dev + C-RLFT — это секретный соус? > > P.P.S.: @Команда Google, мы знаем, что ваша модель великолепна, но, пожалуйста, используйте лицензию, одобренную OSI, например Mistral (или даже Phi и Orca). : Gemma-7b-it` не смогла понять и следовать большинству шаблонов, состоящих из нескольких кадров. Чтобы использовать эту модель, мы настоятельно рекомендуем установить пакет OpenChat, следуя руководству по установке в нашем репозитории, и использовать OpenChat OpenAI-совместимый API-сервер, выполнив команду обслуживания из таблицы ниже. Сервер оптимизирован для высокопроизводительного развертывания с использованием vLLM и может работать на потребительском графическом процессоре с 24 ГБ ОЗУ. Чтобы включить тензорный параллелизм, добавьте —tensor-parallel-size N к обслуживающей команде. После запуска сервер прослушивает запросы по адресу localhost:18888 и совместим со спецификациями API OpenAI ChatCompletion. Для справки обратитесь к примеру запроса ниже. Кроме того, вы можете использовать веб-интерфейс OpenChat для удобства пользователя. Если вы хотите развернуть сервер как онлайн-сервис, вы можете использовать —api-keys sk-KEY1 sk-KEY2 … для указания разрешенных ключей API и —disable-log-requests —disable-log-stats —log-file openchat.log для регистрации только в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openchat
Теги: gemma, conversational, text-generation-inference, endpoints_compatible
Лайков: 57 | Загрузок: 4,144
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
