— обучение с использованием кодовой базы BigScience DeepSpeed-Megatron-LM — встраивание слов, инициализированное с помощью WECHSEL и всех других весов, взятых из английского gpt2-xl — ~ 3 дня на графических процессорах 16xA100 (~ 80 терафлопс / графический процессор) — остановлено после 100 тыс. шагов — 26,2 млрд токенов — менее одной эпохи на oscarunshuffleddeduulatedde` (исключая набор проверки; исходная модель обучалась в течение 75 эпох на меньшем количестве данных) — bf16 — нулевой этап 0 — tp/pp = 1 Вы можете использовать эту модель напрямую с конвейером для генерации текста. Поскольку генерация основана на некоторой случайности, мы устанавливаем начальное значение для воспроизводимости: Вот как использовать эту модель для получения характеристик данного текста в PyTorch: — https://huggingface.co/malteos/bloom-1b5-clp-german — https://huggingface.co/malteos/bloom-6b4-clp-german — https://huggingface.co/malteos/bloom-6b4-clp-german-oasst-v0.1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: malteos
Теги: gpt2, de, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 708
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
