Qwen3.5-122B-A10B-NVFP4-vllm-docker-jetson-agx-thor
Первое подтвержденное развертывание Qwen3.5-122B-A10B с точностью NVFP4 на одном NVIDIA Jetson AGX Thor (унифицированная память 128 ГБ). В...
Первое подтвержденное развертывание Qwen3.5-122B-A10B с точностью NVFP4 на одном NVIDIA Jetson AGX Thor (унифицированная память 128 ГБ). В...
Терминатор — это легкий нейронный модуль, который предсказывает, когда модель языка рассуждений достигнет окончательного ответа во время генерации...
Вы можете использовать gpt-oss-120b и gpt-oss-20b с трансформерами. Если вы используете шаблон чата Трансформеры, он автоматически применит формат...
Это квантование NVFP4 смешанной точности zai-org/GLM-4.7-Flash, модель Mixture-of-Experts 30B-A3B (30B всего, 3B активно). Эта версия сохраняет уровни MTP...
В этом репозитории размещен официально оптимизированный для NVFP4 дистрибутив IQuest-Loop-Coder. Используя 4-битный формат с плавающей запятой NVIDIA (NVFP4),...
В этом репозитории представлены квантованные сборки zai-org/GLM-4.7 (модель Mixture-of-Experts), переупакованные для vLLM с использованием формата сжатых тензоров. >...
Это квантованная версия EssentialAI/RnJ-1-Instruct FP8, созданная с использованием llmcompressor (Neural Magic). Ключевые преимущества: — Размер модели меньше на...
Это квантованная версия NousResearch/Hermes-4.3-36B FP8, созданная с использованием llmcompressor (Neural Magic). Основные преимущества: — Размер модели меньше примерно...
Высокопроизводительное AWQ-квантование ZHIPU AI GLM-4.6 (357B MoE), оптимизированное для вывода vLLM. Это профессионально квантованная 4-битная AWQ-версия Z.ai GLM-4.6,...
По состоянию на 1 октября 2025 г. создайте новую среду Python и запустите: 👋 Присоединяйтесь к нашему сообществу...