Этот репозиторий содержит преобразования WeiboAI/VibeThinker-3B LiteRT-LM для локального вывода на устройстве. VibeThinker-3B — это модель плотного рассуждения с 3B параметрами, построенная на Qwen2.5-Coder-3B. Эти артефакты были экспортированы из контрольной точки защитных тензоров Hugging Face с помощью LiteRT Torch и упакованы в файлы .litertlm для среды выполнения LiteRT-LM. Файлы .litertlm CPU/GPU включают в себя сжатый токенизатор Hugging Face, метаданные LLM, квантованную модель предварительного заполнения/декодирования TFLite и квантованную внешнюю программу внедрения. — Артефакты AOT процессора Qualcomm SM8750 не были созданы на этом начальном этапе. — Пакеты MediaPipe .task не были загружены, поскольку VibeThinker-3B поставляется с HF tokenizer.json, а не с SentencePiece tokenizer.model.
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Tdamre
Теги: litert-lm, qwen2, reasoning, on-device, vibethinker, conversational
Лайков: 5 | Загрузок: 3,188
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
