Эта модель (и модель карты) представляет собой адаптацию hivemind/gpt-j-6B-8bit, так что вся благодарность ему/ей. Это версия последней контрольной точки (1 миллион шагов) bertin-project/bertin-gpt-j-6B, модифицированная таким образом, чтобы вы могли создавать и точно настраивать модель в Colab или аналогичном настольном графическом процессоре. Вот как его запустить:  Оригинальный GPT-J требует более 22 ГБ памяти только для параметров float32, и это без учета градиентов и оптимизатора. Даже если вы приведете все к 16-битному формату, он все равно не подойдет для большинства однопроцессорных установок, за исключением A6000 и A100. Вы можете сделать вывод о TPU или CPU, но точная настройка обходится намного дороже. Здесь мы применяем несколько методов, чтобы сделать GPT-J пригодным для использования и точно настраиваемым на одном графическом процессоре с памятью ~ 11 ГБ: — тензоры больших весов квантуются с использованием динамического 8-битного квантования и деквантуются своевременно для умножения — использование контрольных точек градиента для хранения только одной активации на слой: использование значительно меньшего количества памяти за счет замедления обучения на 30% — масштабируемая точная настройка с помощью LoRA и 8-битного Адама Другими словами, все большие весовые матрицы заморожены в 8-битном формате, и вам остается только…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mrm8488
Теги: gptj, gpt-j, spanish, gpt-j-6b, LLM, Spanish GPT-J, es, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
