Эта модель (и модель карты) представляет собой адаптацию hivemind/gpt-j-6B-8bit, так что вся благодарность ему/ей. Это версия bertin-project/bertin-gpt-j-6B, модифицированная таким образом, чтобы вы могли создавать и точно настраивать модель в Colab или аналогичном настольном графическом процессоре (например, одиночном 1080Ti). Вот как его запустить:  Оригинальный GPT-J требует более 22 ГБ памяти только для параметров float32, и это без учета градиентов и оптимизатора. Даже если вы приведете все к 16-битному формату, он все равно не подойдет для большинства однопроцессорных установок, за исключением A6000 и A100. Вы можете сделать вывод о TPU или CPU, но точная настройка обходится намного дороже. Здесь мы применяем несколько методов, чтобы сделать GPT-J пригодным для использования и точно настраиваемым на одном графическом процессоре с памятью ~ 11 ГБ: — тензоры больших весов квантуются с использованием динамического 8-битного квантования и деквантуются своевременно для умножения — использование контрольных точек градиента для хранения только одной активации на слой: использование значительно меньшего количества памяти за счет замедления обучения на 30% — масштабируемая точная настройка с помощью LoRA и 8-битного Адама Другими словами, все большие весовые матрицы заморожены в 8-битном формате, и вы тренируете только маленькие…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mrm8488
Теги: gptj, gpt-j, spanish, LLM, gpt-j-6b, es, endpoints_compatible
Лайков: 7 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
