🤗-совместимая версия токенизатора Grok-2 (адаптирована из xai-org/grok-2). Это означает, что его можно использовать с библиотеками Hugging Face, включая Transformers, Tokenizers и Transformers.js. Как Грок 2.5 ака. xai-org/grok-2 был недавно выпущен в 🤗 Hub со встроенной поддержкой SGLang, но контрольные точки в Hub не будут поставляться с токенизатором, совместимым с Hugging Face, а скорее с экспортом JSON на основе tiktoken, который внутренне считывается и исправляется в SGLang. Затем этот репозиторий содержит экспорт, совместимый с Hugging Face, чтобы пользователи могли легко взаимодействовать и экспериментировать с токенизатором Grok-2, кроме того, что позволяет использовать его через SGLang без необходимости вручную извлекать репозиторий из хаба, а затем использовать монтирование, чтобы избежать необходимости напрямую указывать на путь токенизатора, чтобы Grok-2 можно было развернуть как: > [!NOTE] > Этот репозиторий был вдохновлен более ранней аналогичной работой Xenova в Зенова/грок-1-токенизатор.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: git, tokenizers, sglang, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
