Он был квантован до 4 бит с использованием: https://github.com/TigerResearch/TigerBot/tree/main/gptq.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TigerResearch
Теги: bloom, endpoints_compatible
Лайков: 15 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.