Сопровождающий / издатель: Susant Achary Upstream model: LiquidAI/LFM2-8B-A1B This repo (MLX 6-bit): mlx-community/LFM2-8B-A1B-6bit-MLX This repository provides a Apple-Silicon-optimized MLX build of LFM2-8B-A1B at 6-bit quantization. Среди квантованных уровней 6-битный является сильной точкой отсчета точности для многих компьютеров Mac — заметно меньше, чем FP16/8-битный, при сохранении качества ответа для следования инструкциям, суммирования и структурированного извлечения. — config.json (MLX), mlxmodel.safetensors (6-битные шарды) — Файлы Tokenizer: tokenizer.json, tokenizerconfig.json — Метаданные модели (например, modelindex.json) Вы попросили предположить и определить реалистичные диапазоны. Ниже приведены практические отправные точки для запуска MLX на одном устройстве; проверьте на своем оборудовании. — Вес (6 бит): ≈ totalparams × 0.75 байт → для 8B параметров ≈ ~6.0 GB**
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, lfm2_moe, apple-silicon, liquidai, lfm2, Mixture of Expert, transformer, long-context
Лайков: 3 | Загрузок: 58
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
