🚀 Первая реализация технологии разгрузки процессора MoE 🎯 99,9% Сокращение VRAM (2 МБ по сравнению с ожидаемым 15 ГБ) Параметры ⚡ 20B с революционной эффективностью памяти Этот репозиторий содержит файлы модели формата GGUF для GPT-OSS 20B WEOPENML с новаторской технологией разгрузки экспертов по процессорам. Это первая производственная реализация разгрузки центральных процессоров MoE, обеспечивающая беспрецедентное сокращение VRAM на 99,9% при сохранении полного качества генерации. CPU Expert Offloading — это революционный подход, который хранит экспертные тензоры MoE в системной оперативной памяти, а не в VRAM GPU: — Архитектура: 32 эксперта на слой × 24 слоя, 4 активных эксперта на токен — Использование памяти: 2 МБ VRAM (сокращение на 99,9% по сравнению с ожидаемыми 15 ГБ) — Длина контекста: 131 072 токена (128K) со скользящим окном — Точность: F16 для оптимального качества и совместимости — Инновация: Первая рабочая реализация экспертной разгрузки процессора — Революционная экономия памяти:
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: MikeKuykendall
Теги: llama.cpp, gguf, mixture-of-experts, moe, cpu-offload, shimmy, memory-efficient, first-implementation
Лайков: 3 | Загрузок: 122
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
