Это сегментированная контрольная точка (с сегментами размером ~4 ГБ) модели databricks/dolly-v2-12b с 8-битной точностью с использованием битов и байтов. Для получения всех подробностей обратитесь к исходной модели. к модели. Дополнительную информацию о загрузке 8-битных моделей см. в примере репозитория и/или в информации о выпуске 4.28.0. — общий размер модели всего ~12,5 ГБ! — это позволяет загружать малое количество оперативной памяти, т. е. Colab 🙂 — обновление: скорость генерации можно значительно улучшить, установив usecache=True` и генерируя с помощью контрастного поиска. пример примечания: здесь можно установить/обновить преобразователи, ускорение и биты и байты. Чтобы это работало, у вас должны быть преобразователи>=4.28.0 и биты и байты>0.37.2. Загрузите модель. Поскольку он сериализован в 8-битном формате, вам не нужно делать ничего особенного:
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: ethzanalytics
Теги: gpt_neox, dolly, dolly-v2, instruct, sharded, 8bit, quantized, en
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
