GGUF Квантованные модели gpt-oss-20b от профессора Ника В. Флора. В целях воспроизводимости исследований. Добро пожаловать в серию gpt-oss, модели OpenAI с открытым весом, предназначенные для мощных рассуждений, агентских задач и универсальных вариантов использования разработчиками. Мы выпускаем две разновидности этих открытых моделей: — gpt-oss-120b — для производственных, универсальных и сложных сценариев использования, которые вписываются в один графический процессор емкостью 80 ГБ (например, NVIDIA H100 или AMD MI300X) (117 бит параметров с 5,1 миллиарда активных параметров) — gpt-oss-20b — для меньшей задержки, а также случаев локального или специализированного использования (21 миллиард параметров с 3,6 миллиарда активных параметров). Обе модели прошли обучение. наш формат ответа гармонии, и его следует использовать только с форматом гармонии, иначе он не будет работать правильно. > [!NOTE] > Эта модель карты предназначена для меньшей модели gpt-oss-20b. Посмотрите gpt-oss-120b для более крупной модели. Разрешающая лицензия Apache 2.0. Создавайте свободно, без ограничений авторского лева и патентного риска. Идеально подходит для экспериментов, настройки и коммерческого развертывания. Настраиваемое усилие рассуждения: легко настраивайте усилие рассуждения (низкое, среднее, высокое) в зависимости от вашего конкретного варианта использования и потребностей в задержке. Полная цепочка мыслей: получите полный доступ к…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: professorf
Теги: gguf, vllm, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
