Это шардированная контрольная точка (с ~4 ГБ шардов) модели stabilityai/stablelm-tuned-alpha-7b с 8-битной точностью с использованием битов и байтов. Обратитесь к оригинальной модели для получения подробной информации о модели. Для получения дополнительной информации о загрузке 8-битных моделей см. пример репозитория и/или информацию о выпуске 4.28.0. — общий размер модели составляет всего ~7 ГБ! — это обеспечивает загрузку с низким объемом оперативной памяти, т.е. Colab 🙂 Вы можете использовать эту модель в качестве замены в ноутбуке для стандартных шардированных моделей. Установка/модернизация трансформаторов, ускорение и бит и байт. Для этого у вас должны быть трансформаторы>= 4,28,0 и биты и байты>0,37,2. Загрузите модель. Поскольку она сериализована в 8 бит, вам не нужно делать ничего особенного:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ethzanalytics
Теги: gpt_neox, stableLM, sharded, 8-bit, quantized, tuned, en, text-generation-inference
Лайков: 2 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.