Квантование GGUF lkevincc0/Step-3.5-Flash-REAP-128B-A11B, сокращенного REAP варианта Stepfun-ai/Step-3.5-Flash. — Архитектура: Step3p5ForCausalLM (Sparse MoE) — Исходные параметры: всего 196B, 11B активных на токен (288 экспертов, топ-8 маршрутизации) — REAP-сокращение: всего 128B, 11B активных на токен (173 эксперта, топ-8 маршрутизации — сокращение экспертов на 40 %) Преобразовано из исходных защитных датчиков в bf16 GGUF с использованием Converthftogguf.py, затем квантованный с помощью llama-quantize`.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nivvis
Теги: gguf, step3p5, moe, reap, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
