Этот репозиторий содержит варианты Qwen/Qwen3-4B LiteRT-LM, оптимизированные для генерации текста на устройстве. Смешанный артефакт INT4 .litertlm был создан с использованием рецепта первого квантования на основе TorchAO из исходной контрольной точки Hugging Face. Это смешанная схема квантования, а не единая модель, состоящая только из INT4: подходящие веса линейных проекций хранятся как блочные INT4 с размером группы 32 и шкалами с плавающей запятой, веса встраивания токенов используют квантование INT8 только для веса, а пути нормализации/сокращения плюс тензоры кэша KV остаются с плавающей запятой. Смешанный пакет INT4 также использует составные операции LiteRT-LM StableHLO для выполнения внимания и кэширования, включая odml.runtimebmm и odml.cacheupdate. Тест для настольных компьютеров: AMD Radeon AI PRO R9700, LiteRT-LM WebGPU, 256 токенов предварительного заполнения, 32 токена декодирования. В строках Android используется LiteRT-LM v0.13.1 с графическим процессором OpenCL, 256 токенами предварительного заполнения и 64 токенами декодирования. Если не указано иное, значения указывают на подогретую итерацию из двух итераций. Раскрытие информации об аппаратном тестировании: результаты были измерены нами на розничных устройствах, приобретенных через обычные каналы. Эти результаты не связаны, не спонсируются, не одобряются и не проверяются Samsung, vivo, Qualcomm, MediaTek,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: litert-community
Теги: litert-lm, litertlm, qwen, Qwen3, en
Лайков: 6 | Загрузок: 8,799
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
