green ai serisinin başlangıcı olan model olacaktır kendisi ve şu ana kadar yayınlanan datasetler ile eğitilmiştir (bir kısmını paylaşmadım datasetlerin model dosyalarda olanlardan daha fazlasını gördü) green ai küçük ama zeki mantığında çalışan zekayı sadece parametreye bağlamayan bir modeldir. model hakkında bilgiler: -modelimiz 2048 token bağlam penceresine ve kendi tokenizerine sahiptir -tokenizer türkçeye özel olarak eğitilmiştir (vocab sayısı 8.002) -dikkat mekanizması olarak RoPE kullanılmıştır -toplamda 15 milyon token ve 20 epoch ile eğitilmiştir (tiny model esnekliği) -modelimiz türkçe kelimeleri kurabiliyor ama 3-4 kelimeden sonra bağlam uçuyor haberiniz olsun (loss değeri ~5 civarlarında olduğu için(özür dilerim)) bu model başlangıç modeli olduğu ve yorg (aynı zamanda devam edecek olan green ai serileri için de söylüyorum bunu)(lütfen)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Kedy123
Теги: turkish, tr, gpt2, tiny-model, rope, custom-tokenizer, green-ai, micro-green
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
