Это версия GPT-J от EleutherAI с 6 миллиардами параметров, которая модифицирована, чтобы вы могли создавать и точно настраивать модель в Colab или эквивалентном графическом процессоре для настольных ПК (например, одиночном 1080Ti). Вот как его запустить:  Оригинальный GPT-J требует более 22 ГБ памяти только для параметров float32, и это без учета градиентов и оптимизатора. Даже если вы приведете все к 16-битному формату, он все равно не подойдет для большинства однопроцессорных установок, за исключением A6000 и A100. Вы можете сделать вывод о TPU или CPU, но точная настройка обходится намного дороже. Здесь мы применяем несколько методов, чтобы сделать GPT-J пригодным для использования и точно настраиваемым на одном графическом процессоре с памятью ~ 11 ГБ: — тензоры больших весов квантуются с использованием динамического 8-битного квантования и деквантуются своевременно для умножения — использование контрольных точек градиента для хранения только одной активации на слой: использование значительно меньшего количества памяти за счет замедления обучения на 30% — масштабируемая точная настройка с помощью LoRA и 8-битного Адама Другими словами, все большие весовые матрицы заморожены в 8-битном формате, и вы тренируете только небольшие адаптеры и, возможно, 1d-тензоры (шкалы норм слоя, смещения). Влияет ли 8-битная версия на модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hivemind
Теги: gptj, causal-lm, en, endpoints_compatible
Лайков: 132 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
