Эта модель LiquidAI/LFM2.5-8B-A1B-MLX-8bit была преобразована в формат MLX из LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm версии 0.31.3. Квантуется до 8 бит на вес (размер группы 64, аффинный режим). Шлюзы маршрутизации MoE сохранены на уровне 8 бит. Подробные сведения о базовой модели, ее возможностях и рекомендуемых настройках поколения см. в карточке исходной модели. LFM2.5 использует формат, подобный ChatML. Подробности смотрите в документации по шаблону чата. Пример: поскольку LFM2.5-8B-A1B представляет собой модель рассуждения, ходы помощника содержат явную цепочку мыслей перед окончательным ответом. tokenizer.applychattemplate() автоматически форматирует сообщения. LFM2.5 поддерживает вызов функций. Передайте инструменты tokenizer.applychattemplate(…,tools=…). Полное руководство см. в документации по использованию инструмента. Открытая лицензия LFM v1.0 — условия см. в файле ЛИЦЕНЗИИ или карточке исходной модели.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LiquidAI
Теги: mlx, lfm2_moe, liquid, lfm2.5, edge, moe, conversational, en
Лайков: 10 | Загрузок: 3,238
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
