Языковая модель казахского языка. Модель имеет 1,3В параметров, как можно догадаться по названию. Казахский язык принадлежит к тюркской языковой семье. Это очень динамичный язык, на котором говорят около 18 миллионов человек. Вот несколько фактов об этом: 1. Это основной язык, на котором говорят в Казахстане. 2. В казахском языке существует своя версия кириллицы, но происходит переход на латиницу. 3. Он имеет богатые традиции устной литературы, включая эпическую поэзию. Это одна из моделей, созданных на основе базовой модели mGPT-XL (1.3B) (см. список ниже), которая изначально обучалась на 61 языке из 25 языковых семей с использованием Википедии и корпуса C4. Мы нашли дополнительные данные для 23 языков, большинство из которых считаются второстепенными, и решили доработать базовую модель. Казахский mGPT 1.3B был обучен еще на 150 000 шагов с размером пакета = 4 и контекстным окном из 2048** токенов на 1 A100. — 🇦🇲 mGPT-1.3B Армянский — 🇦🇿 mGPT-1.3B Азербайджан — 🍯 mGPT-1.3B Башкирский — 🇧🇾 mGPT-1.3B Белорусский — 🇧🇬 mGPT-1.3B Болгарский — 🌞 mGPT-1.3B Бурятский — 🌳 мГПТ-1.3Б Чувашский — 🇬🇪 мГПТ-1.3Б Грузинский — 🌸 мГПТ-1.3Б Калмыцкий — 🇰🇬 мГПТ-1.3Б Киргизский — 🐻 мГПТ-1.3Б Марийский — 🇲🇳 мГПТ-1.3Б Монгольский — 🐆 мГПТ-1.3Б Осетинский — 🇮🇷 мГПТ-1.3Б Персидский…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ai-forever
Теги: gpt2, gpt3, mgpt, kk, en, ru, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 471
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
