KREN v1 — это общедоступное документированное преобразование→ декодера кодера, создающее генеративную языковую модель для индийского языка (Khasi). Преобразование было выполнено путем переноса весов и адаптации архитектуры MWirelabs/khasibert (кодер в стиле RoBERTa) в каузальный декодер в стиле GPT-2 с последующей прогрессивной каузальной точной настройкой LM. — Название модели: Kren v1 (ранее kren-v0.3) — Язык: Khasi (kha) — Архитектура: каузальная языковая модель в стиле GPT-2 — Параметры: 110M — Данные обучения: 1M линий (оптимальная точка обучения, определенная в результате исследований) — Базовая модель: MWirelabs/khasibert Дискуссии об ✅ окружающей среде и устойчивости ✅ Культурные и географические вопросы о Meghalaya ✅ Абстрактные рассуждения и исследование ✅ концепций Многоклассные сложные ответы Генерация ✅ образовательного контента — Training Me
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MWirelabs
Теги: gpt2, khasi, causal-lm, indigenous-language, low-resource, mwirelabs, encoder-decoder-conversion, kha
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
