Квантованная NVFP4 версия Stepfun-ai/Step-3.5-Flash, модели рассуждений пограничного уровня с открытым исходным кодом от StepFun с общим количеством 196,81 млрд параметров и ~ 11 млрд активных параметров на токен. > Примечание. HuggingFace отображает ~111 млрд параметров, поскольку подсчитывает упакованные элементы тензора FP4 (2 веса на байт). Реальная модель имеет 196,81B параметров, идентичных базовой модели. Шаг 3.5 Flash — это базовая модель с открытым исходным кодом, предназначенная для рассуждений на переднем уровне и агентских возможностей с исключительной эффективностью. Основные характеристики базовой модели: — AIME 2025: 97,3% — Проверено SWE-bench: 74,4% — LiveCodeBench-V6: 86,4% — Terminal-Bench 2.0: 51,0% — GAIA (без файла): 84,5 Это квантование NVFP4 уменьшает размер модели с ~372 ГБ (BF16) до ~105 ГБ при сохранении качество, что делает его практичным для развертывания всего на двух графических процессорах. Во время калибровки все 288 экспертов на каждом уровне MoE были активированы, чтобы гарантировать, что каждый эксперт получил данные калибровки, используя специальный калибровочный модуль Step3p5MoEMLP. Уровни 43-44 используют активацию swiglustep (обрезанный SwiGLU с лимитом = 7.0) на своих экспертах MoE. Все остальные уровни MoE используют стандартный SiLU. Для этого требуется поддержка vLLM для swiglustep в ядрах NVFP4 MoE. Эта модель требует…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tacos4me
Теги: step3p5, nvfp4, fp4, quantized, moe, compressed-tensors, vllm, conversational
Лайков: 10 | Загрузок: 272
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
