LFM2 — это семейство гибридных моделей, предназначенных для развертывания на устройстве. LFM2-24B-A2B — самая крупная модель в семействе, архитектура которой масштабируется до 24 миллиардов параметров, сохраняя при этом эффективность вывода. — Лучшая в своем классе эффективность: модель MoE 24B, имеющая всего 2B активных параметров на токен, вмещающая 32 ГБ оперативной памяти для развертывания на потребительских ноутбуках и настольных компьютерах. — Быстрый вывод границ: декодирование 112 ток/с на процессоре AMD, 293 ток/с на H100. Вмещает 32 ГБ ОЗУ с поддержкой llama.cpp, vLLM и SGLang с первого дня. — Предсказуемое масштабирование: качество улучшается лог-линейно с 350 млн до 24 млрд общих параметров, что подтверждает надежность масштабирования гибридной архитектуры LFM2 почти на два порядка. LFM2-24B-A2B — это модель инструкций общего назначения (без следов рассуждения) со следующими функциями: Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский. Параметры генерации: — температура: 0,1 — топк: 50 — штраф за повторение: 1,05 — Использование агентских инструментов: вызов собственных функций, веб-поиск, структурированные выходные данные. Идеально подходит в качестве быстрой модели внутреннего цикла в многоэтапных конвейерах агентов. — Обобщение документов в автономном режиме и вопросы и ответы: работа полностью на потребительском оборудовании для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: lfm2_moe, liquid, lfm2, edge, conversational, en, ar, zh
Лайков: 272 | Загрузок: 16,510
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
