HuggingFaceTB/SmolLM3-3B квантуется с использованием Torchao с 8-битными вложениями и 8-битными динамическими активациями с 4-битными линейными весами (INT8-INT4). Затем его понижают до ExecuTorch с несколькими оптимизациями — пользовательским SPDA, пользовательским кэшем KV и параллельным предварительным заполнением — для достижения высокой производительности на внутреннем процессоре, что делает его хорошо подходящим для мобильного развертывания. Мы предоставляем файл .pte для непосредственного использования в ExecuTorch. (Предоставленный файл PTE экспортируется со значением maxseqlength/maxcontextlength по умолчанию, равным 2 КБ.) Файл .pte можно запустить с помощью ExecuTorch на мобильном телефоне. См. инструкции, как сделать это в iOS и Android. На Samsung Galaxy S22 модель работает со скоростью 15,5 токенов/с. Вы также можете запустить эту модель с помощью программы запуска образцов ExecuTorch, выполнив шаги 3 и 4 этой инструкции. Вы можете воссоздать файл .pte из нетерпеливого источника, используя этот рецепт экспорта. Сначала установитеOptimum-executorch, следуя этой инструкции, затем вы можете использоватьOptimum-cli для экспорта модели в ExecuTorch: Мы хотим по-разному квантовать встраивание и lm_head. Поскольку эти слои связаны, нам сначала нужно развязать модель: и использовать токен с доступом для записи из https://huggingface.co/settings/tokens. Мы полагаемся на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: pytorch
Теги: optimum-executorch, executorch, smollm3, smollm, conversational, torchao
Лайков: 38 | Загрузок: 85
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
