Seed-OSS-36B-Instruct-GPTQ-Int4
По состоянию на 15 сентября 2025 г. создайте новую среду Python и запустите: По состоянию на 21 августа...
Метка: vllm
gpt-oss-20b-GGUF
Добро пожаловать в серию gpt-oss, модели OpenAI с открытым весом, предназначенные для эффективных рассуждений, агентских задач и универсальных...
gpt-oss-120b-GGUF
Добро пожаловать в серию gpt-oss, модели OpenAI с открытым весом, предназначенные для эффективных рассуждений, агентских задач и универсальных...
Qwen3-30B-A3B-Thinking-2507-AWQ-BF16Mix
Модуль awqmarlin в vllm не проверяет параметр elementstonotconvert при загрузке модулей AWQ-MoE, что приводит к сбою смешанного квантования...
GLM-4.5-GPTQ-Int4-Int8Mix
👋 Присоединяйтесь к нашему сообществу Discord. 📖 Посетите технический блог GLM-4.5. 📍 Используйте сервисы API GLM-4.5 на платформе...
Devstral-Small-2507-unsloth-bnb-4bit
> [!NOTE] > Вам следует использовать —jinja, чтобы включить системное приглашение в llama.cpp. Devstral 1.1 с поддержкой вызова...
DeepSeek-R1-0528-GPTQ-Int4-Int8Mix-Compact
Этот репозиторий предоставляет модель Int4 + выборочно-Int8 GPTQ DeepSeek-R1-0528: только слои, которые очень чувствительны к квантованию, остаются в...
Devstral-Small-2505-unsloth-bnb-4bit
— Доработайте Mistral v0.3 (7B)) бесплатно с помощью нашего блокнота Google Colab здесь — Conversational.ipynb)! — Прочтите наш...
Devstral-Small-2505-fp8
Идеально подходит для работы в системе с двумя графическими процессорами, такой как 2×3090, с vLLM или SGlang: vllm...
QwQ-32B-INT8-W8A8
— Архитектура модели: трансформаторы с RoPE, SwiGLU, RMSNorm и вниманием QKV смещением — Входные данные: текст — Выходные...