Kren-M «Kren-M — двуязычная (хаси-английская) языковая модель, разработанная путем обширной предварительной подготовки и контролируемой тонкой настройки Gemma 2 (2B). Специально разработан для языка кхаси — низкоресурсного австроазиатского языка, на котором говорят в Мегхалае, Северо-Восточная Индия, — при сохранении беглости английского языка от его базовой модели. Base: Gemma-2-2B tokenizer (SentencePiece) Added Tokens: 2,135 Khasi-specific subwords Efficiency Gain:** 35.7% less tokens (avg 101 vs 157) Corpus: 5.43M cleaned Khasi sentences (~ 521M tokens) Epochs: 2 | Duration: 4 days (NVIDIA A40) Loss: 6.77 → 2.99 | Perplexity:** ~19.9 20K Translation (Khasi↔English) 15K English Chat (Databricks Dolly) 7,977 Khasi Chat (Native corpus) Method: LoRA Gemma chat template Loss: 2.38 → 1.08 (train) Final Model: MWirelabs/Kren-M Li Разработано [MWire Labs, Shillong] https://mwirelabs.com…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MWirelabs
Теги: gemma2, khasi, northeast-india, low-resource, continued-pretraining, instruction-tuning, bilingual, Garo
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
