Эта версия bigscience/bloom, во многом вдохновленная GPT-J-6B от Hivemind с 8-битными весами, представляет собой языковую модель с ~176 миллиардами параметров, которую вы запускаете и настраиваете с меньшим объемом памяти. Здесь мы также применяем LoRA (адаптацию низкого ранга), чтобы уменьшить размер модели. Исходная версия занимает ~353 ГБ памяти, эта версия занимает ~180 ГБ. Наша главная цель — создать модель, достаточно сжатую для развертывания в традиционном кластере Kubernetes. В этом ноутбуке вы можете найти адаптацию 8-битного ноутбука тонкой настройки Hivemind GPT-J для тонкой настройки 8-битного Bloom с 3 экземплярами NVIDIA A100. Эту модель можно использовать, адаптировав оригинальную реализацию Bloom. Это адаптация 8-битной версии GPT-J от Hivemind:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: joaoalvarenga
Теги: bloom, ak, ar, as, bm, bn, ca, en
Лайков: 75 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
