В этом репозитории содержатся модель и гири факельной версии модели открытых гирь Grok-1. Полный пример кода использования версии Grok-1 для факела можно найти в репозитории ColossalAI на GitHub. Мы также применяем методы параллелизма из платформы ColossalAI (на данный момент тензорный параллелизм), чтобы ускорить вывод. Вы можете найти оригинальные веса, выпущенные xAI, в Hugging Face, а также оригинальную модель в открытом репозитории Grok на GitHub. Мы перевели исходное моделирование, написанное на JAX, в версию PyTorch и преобразовали веса путем сопоставления тензорных файлов с ключами параметров, деквантования тензоров с соответствующими упакованными шкалами и сохранения в файл контрольных точек с помощью API-интерфейсов Torch. Версия токенизатора, совместимая с трансформерами, предоставлена Xenova и ArthurZ.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hpcai-tech
Теги: custom_code
Лайков: 77 | Загрузок: 16,856
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
