GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir. Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 256 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır.. Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 7.5 milyon adımda yaklaşık 733 epoch eğitilmiştir. Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır. 16GB Paylaşılan GPU’dan da yararlanılmakta ve eğitimin devamında toplamda 20GB hafıza kullanılmaktadır. ÖNEMLİ: model harf büyüklüğüne duyarlı olduğu için, prompt tamamen küçük harflerle yazılmalıdır. Ekranın sağındaki Inference Api ile denemelerinizde Compute butonuna cümlelerin oluşması bitene kadar basmanız gerekmektedir. Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: cenkersisman
Теги: gpt2, tr, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
