Метка: vllm - Страница 20 - Каталог нейросетей

Метка: vllm

Генерация текста

RedHatAI/gemma-2-9b-it-FP8

— Архитектура модели: Gemma 2 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое...

Генерация текста

RedHatAI/Phi-3-medium-128k-instruct-FP8

— Архитектура модели: Phi-3 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...

Генерация текста

brandonmusic/GLM-5.2-NVFP4-REAP-Recall-N172

Восстановленный из отзыва повторный REAP GLM-5.2-NVFP4 — 172 эксперта на уровень (из 256), самосогласованный, веса BF16 сохранены, эксперты...

Генерация текста

poolside/Laguna-XS-2.1-INT4

Laguna XS 2.1-INT4 — это модель Mixture-of-Experts с общим объемом 33 миллиарда параметров и 3 миллиардами активированных параметров...

Генерация текста

poolside/Laguna-XS-2.1-FP8

Laguna XS 2.1-FP8 — это модель Mixture-of-Experts с общим объемом 33 миллиарда параметров и 3 миллиардами активированных параметров...

Генерация текста

Hikari07jp/Step-3.7-Flash-MTP-draft

Небольшой черновой вариант прогнозирования нескольких токенов (MTP/nextn) для Stepfun-ai/Step-3.7-Flash-NVFP4, чтобы вы могли запустить спекулятивное декодирование на контрольной точке...

Генерация текста

sakamakismile/LFM2.5-8B-A1B-NVFP4

Квантование LiquidAI/LFM2.5-8B-A1B NVFP4 (W4A4) — 8,3-битный / 1,5-активный процессор смешанных экспертов (контекст 131 КБ) работает на одном графическом...