Phi-3-medium-128k-instruct-FP8
— Архитектура модели: Phi-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
Метка: vllm
GLM-5.2-NVFP4-REAP-Recall-N172
Восстановленный из отзыва повторный REAP GLM-5.2-NVFP4 — 172 эксперта на уровень (из 256), самосогласованный, веса BF16 сохранены, эксперты...
Laguna-XS-2.1-INT4
Laguna XS 2.1-INT4 — это модель Mixture-of-Experts с общим объемом 33 миллиарда параметров и 3 миллиардами активированных параметров...
Laguna-XS-2.1-FP8
Laguna XS 2.1-FP8 — это модель Mixture-of-Experts с общим объемом 33 миллиарда параметров и 3 миллиардами активированных параметров...
Step-3.7-Flash-MTP-draft
Небольшой черновой вариант прогнозирования нескольких токенов (MTP/nextn) для Stepfun-ai/Step-3.7-Flash-NVFP4, чтобы вы могли запустить спекулятивное декодирование на контрольной точке...
LFM2.5-8B-A1B-NVFP4
Квантование LiquidAI/LFM2.5-8B-A1B NVFP4 (W4A4) — 8,3-битный / 1,5-активный процессор смешанных экспертов (контекст 131 КБ) работает на одном графическом...
Qwopus3.5-27B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwopus3.5-9B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
GLM-5-AWQ
Этот репозиторий квантует модель с использованием квантования без данных (набор калибровочных данных не требуется). По состоянию на 26...
Llama-3.1-8B-Instruct-pearl
Сертифицированный Pearl вариант Llama-3.1-8B-Instruct, предназначенный для работы с плагином для майнинга Pearl vLLM. — Веб-сайт проекта: https://pearlresearch.ai —...