Вы можете использовать gpt-oss-120b и gpt-oss-20b с трансформерами. Если вы используете шаблон чата Трансформеры, он автоматически применит формат ответа гармонии. Если вы используете model.generate напрямую, вам необходимо применить формат гармонии вручную с помощью шаблона чата или использовать наш пакет openai-harmony. Для начала установите необходимые зависимости для настройки вашей среды: После установки вы можете приступить к запуску модели, запустив приведенный ниже фрагмент: Альтернативно вы можете запустить модель через Transformers Serve, чтобы развернуть OpenAI-совместимый веб-сервер: vLLM рекомендует использовать uv для управления зависимостями Python. Вы можете использовать vLLM для запуска веб-сервера, совместимого с OpenAI. Следующая команда автоматически загрузит модель и запустит сервер. Чтобы узнать, как использовать эту модель с PyTorch и Triton, ознакомьтесь с нашими эталонными реализациями в репозитории gpt-oss. Если вы пытаетесь запустить gpt-oss на потребительском оборудовании, вы можете использовать Ollama, выполнив следующие команды после установки Ollama. Если вы используете LM Studio, вы можете использовать следующие команды для загрузки. Вы можете загрузить вес модели из Hugging Face Hub непосредственно из интерфейса командной строки Hugging Face: Вы можете…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: p-e-w
Теги: gpt_oss, vllm, heretic, uncensored, decensored, abliterated, conversational, endpoints_compatible
Лайков: 14 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
