Модель GPT-Neo, обученная с нуля на голландском языке, с перплексией 16.0 на очищенном голландском mC4. Вы можете использовать эту модель GPT-Neo напрямую с конвейером для генерации текста. «1 — гель. 2 — зеленый. 3 — руд. 4 — синий. 5 — синяк. 6 — черный. 7 — оранжевый. 8 — розовый. 9 — паарс. 10 — остроумный. 11 — серый. 12 — пурпурный. 13 — лиловый. 14 — светло-зеленый. 15″ * Токенизатор BPE обучен с нуля для голландского языка mC4 nl очищен скриптами из примеров Huggingface Transformers Flax. Эта модель была обучена на полной конфигурации (33B токенов) очищенного голландского mC4, который является исходным mC4, за исключением документов, содержащих слова из голландского и английского списка грязных нецензурных и других плохих слов. Удалены предложения с менее чем 3 словами. Удалены предложения со словом длиной более 1000 символов. Удалены документы, содержащие менее 5 предложений. * Документы с «javascript», «lorum». ipsum», «условия использования», «политика конфиденциальности», «политика использования файлов cookie», «использует файлы cookie», «использовать файлы cookie», «использовать файлы cookie», «elementen ontbreken», «deze printversie» удалены. Модели с a/b в столбце шагов были обучены выполнению шага a из общего количества шагов b`. Этот проект не имел бы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: yhavinga
Теги: jax, tensorboard, gpt_neo, gpt-neo-1.3B, gpt-neo, nl, endpoints_compatible
Лайков: 4 | Загрузок: 91
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
