Квантование GGUF для Nichonauta/LFM2.5-350M-ToMoE — преобразование LiquidAI/LFM2.5-350M в формат ToMoE Mixture-of-Experts. Эксперты ToMoE для каналов MoE и динамические V-маски для каждого токена не имеют собственного представления в архитектуре LFM2 файла llama.cpp. Для создания работоспособной модели GGUF, усеченная модель была перестроена как эквивалентная полносвязная: — Усеченные сверточные слои были восстановлены до полной ширины с использованием исходных полносвязных весов (веса свертки никогда не изменялись ToMoE — только маскировались во время выполнения). — Срез объединения MLP (~99% FFN уже были сохранены) был восстановлен до полной FFN. — В усеченной модели Q/K-каналы внимания уже имели полную ширину. В результате GGUF ведет себя как плотная базовая модель, а не как усеченная MoE. Для фактического поведения MoE используйте версию с безопасными тензорами и trustremotecode. Измерения проводились на RTX 3060 (сборка CUDA 13.3, llama.cpp b10603): ~470 т/с генерации для Q4KM, ~370 т/с для Q8_0, ~270 т/с для BF16. — Источник MoE: Nichonauta/LFM2.5-350M-ToMoE — Плотная база: LiquidAI/LFM2.5-350M (LFM Open License v1.0) Производная LiquidAI/LFM2.5-350M — выпущена под открытой лицензией LFM Open License v1.0 (см. ЛИЦЕНЗИЮ).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Nichonauta
Теги: gguf, lfm2, mixture-of-experts, tomoe, llama.cpp, en, ar, zh
Лайков: 3 | Загрузок: 138
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
