BLOOM LM — 8-битная BigScience Большая многоязычная языковая модель открытого доступа с открытым доступом — 8-битная карточка модели Этот репозиторий содержит 8-битные веса модели Bloom-1b7. Вы можете загрузить эту модель, используя Transformers==4.28.0 и bitsandbytes>0.37.2 прямо из коробки! Во-первых, убедитесь, что вы используете версии преобразователей и битов и байтов, указанные выше. Затем загрузите 8-битную модель, как обычно, используя loadin8bit=True! Затем просто вызовите метод pushtohub или метод savepretrained, если вы хотите сохранить свою 8-битную модель локально. Внутри определения состояния модели (файл pytorchmodel.bin) у вас есть — квантованные веса int8 — статистика квантования в float16.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: ybelkada
Теги: bloom, ak, ar, as, bm, bn, ca, code
Лайков: 6 | Загрузок: 219
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
