— Разработано: Metascroy — Лицензия: apache-2.0 — Точная настройка на основе модели: unsloth/Qwen3-4B Эта модель qwen3 была обучена в 2 раза быстрее с помощью библиотеки TRL Unsloth и Huggingface. Мы можем запустить квантованную модель на мобильном телефоне с помощью ExecuTorch. Сначала мы настраиваем ExecuTorch: для сценариев экспорта LLM ExecuTorch требуются ключи контрольных точек, а параметры имеют определенные имена, которые отличаются от тех, которые используются в Hugging Face. Поэтому сначала мы используем сценарий, который преобразует имена ключей контрольной точки Hugging Face в те, которые ожидает ExecuTorch: Следующий сценарий сделает это за вас. Получив контрольную точку, мы экспортируем ее в ExecuTorch с maxseqlength/maxcontextlength, равным 1024, в бэкэнд XNNPACK следующим образом. (Примечание: для сценария экспорта ExecuTorch LLM требуется, чтобы файл config.json имел определенные имена ключей. Правильная конфигурация для использования в сценарии экспорта LLM находится по адресу example/models/qwen3/config/4b_config.json в репозитории ExecuTorch.) (Мы стараемся поддерживать эти инструкции в актуальном состоянии, но если вы обнаружите, что они не работают, ознакомьтесь с нашим CI-тестом в ExecuTorch, чтобы получить последний источник правды, и дайте нам знать, что мы необходимо обновить нашу карточку модели.) После этого вы можете запустить модель в мобильном приложении iOS, используя executorch-examples…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: metascroy
Теги: executorch, qwen3, text-generation-inference, unsloth, trl, sft, conversational, en
Лайков: 5 | Загрузок: 95
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
