A GPT-Neo small model (125M paramters) trained from scratch on Dutch, with perplexity 20.9 on cleaned Dutch mC4. You can use this GPT-Neo model directly with a pipeline for text generation. «Wetenschappers verbonden aan de Katholieke Universiteit van Nijmegen» — «hebben ontdekt dat de genen die een mens heeft, een enorme invloed hebben op het DNA van zijn lichaam. Cellen kunnen zich beter binden aan het DNA dan andere soorten cellen. De genen die de cellen maken, zijn bepalend voor de groei van de cel. Het DNA van een mens is niet alleen informatiedrager, maar ook een bouwstof voor het DNA. Het wordt gevonden in de genen van een cel. Als er op een cel een cel» * BPE tokenizer trained from scratch for Dutch on mC4 nl cleaned with scripts from the Huggingface Transformers Flax examples. This model was trained on of the full configuration (33B tokens) of cleaned Dutch mC4, which is the original mC4, except Documents that contained words from a selection of the Dutch and English List of Dirty Naught Obscene and Otherwise Bad Words are removed Sentences with less than 3 words are removed Sentences with a word of more than 1000 characters are removed Documents with less than 5…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: yhavinga
Теги: jax, tensorboard, gpt_neo, gpt2-medium, gpt2, nl, endpoints_compatible
Лайков: 3 | Загрузок: 124
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
