Проверьте все возможности генерации здесь: https://huggingface.co/spaces/BeardedMonster/SabiYarn_125M Предварительно обученная модель на нигерийских языках, включая английский, с использованием причинно-следственного языкового моделирования (CLM). Многозадачная цель. SabiYarn-125M — первая из серии моделей трансформаторов (заимствованных из nanogpt и вдохновленных архитектурой GPT-J), предварительно обученных на большом массиве данных нигерийского языка в режиме самоконтроля. Это означает, что он был предварительно обучен только на необработанных текстах, без каких-либо маркировок людьми (именно поэтому он может использовать множество общедоступных данных) с автоматическим процессом генерации входных данных и меток из этих текстов. Точнее, его обучали угадывать следующее слово в предложениях. Точнее, входы — это последовательности непрерывного текста определенной длины, а цели — та же последовательность, сдвинутая на один токен (слово или фрагмент слова) вправо. Модель использует внутри механизм маски, чтобы гарантировать, что прогнозы для токена i используют только входные данные от 1 до i, но не будущие токены. Это также гарантирует, что внимание не распределяется по документам. Таким образом, модель изучает внутреннее представление языков, которое затем можно использовать для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BeardedMonster
Теги: nanogpt-j, custom_code
Лайков: 7 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
