Llama-Guard-3-1B-INT4
(Примечание. Это экспортированная модель INT4 executorch. Чтобы узнать больше о том, как запустить эту модель на периферийных устройствах,...
Метка: executorch
SmolLM3-3B-INT8-INT4
HuggingFaceTB/SmolLM3-3B квантуется с использованием Torchao с 8-битными вложениями и 8-битными динамическими активациями с 4-битными линейными весами (INT8-INT4). Затем...