Трансформатор для суахили с 71 млн параметров, предназначенный только для декодера в стиле GPT, обученный с нуля (без предварительно обученных весов) на ~2,15 млрд токенов реального текста на суахили. > ⚠️ Работа в процессе. Этот снимок составляет ~ 23% за счет обучения > (потеря значений ≈ 3,86, итер 120 тыс.). Он уже обеспечивает беглый, грамматический суахили, но > это базовая модель завершения текста, а не модель чата/инструкций. Новые контрольные точки будут добавляться по мере продолжения обучения. См. дорожную карту ниже. > 💬 Хотите задать ему вопросы/пообщаться? Это базовая модель завершения (она > продолжает текст, не отвечает на запросы). Для версии с инструкциями > используйте Benjamin-png/swahili-gpt-71m-instruct > — ту же модель, настроенную для следования инструкциям на суахили. — Inkuba-Mono-Swahili — Mendeley Swahili Corpus — Локальный очищенный корпус суахили Токенизатор 32k был обучен на 30M предложениях с регистром в этих источниках, поэтому он обрабатывает заглавные буквы, имена собственные и произвольные символы (посредством резервного байта). Потери перекрестной энтропии (все токены) на итерациях перед обучением: потери резко падают в течение первых ~ 20 тысяч итераций, а затем переходят в длительный и медленный спад по мере приближения к мощности модели 71M. (Вэл оценивается на небольшой удержанный сплит,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Benjamin-png
Теги: transformer, swahili, kiswahili, gpt, from-scratch, african-languages, low-resource, sw
Лайков: 6 | Загрузок: 198
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
