LFM2 — это семейство гибридных моделей, предназначенных для развертывания на устройстве. LFM2-24B-A2B — самая крупная модель в семействе, архитектура которой масштабируется до 24 миллиардов параметров, сохраняя при этом эффективность вывода. — Лучшая в своем классе эффективность: модель MoE 24B, имеющая всего 2B активных параметров на токен, вмещающая 32 ГБ оперативной памяти для развертывания на потребительских ноутбуках и настольных компьютерах. — Быстрый вывод границ: декодирование 112 ток/с на процессоре AMD, 293 ток/с на H100. Вмещает 32 ГБ ОЗУ с поддержкой llama.cpp, vLLM и SGLang с первого дня. — Предсказуемое масштабирование: качество улучшается лог-линейно с 350 млн до 24 млрд общих параметров, что подтверждает надежность масштабирования гибридной архитектуры LFM2 почти на два порядка.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: gguf, liquid, lfm2, edge, moe, llama.cpp, en, ar
Лайков: 108 | Загрузок: 35,062
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
