Ko-GPT-Trinity 1.2B — это модель-трансформер, разработанная с использованием репликации архитектуры GPT-3 компании SK telecom. Ko-GPT-Trinity относится к классу моделей, а 1.2B представляет собой количество параметров этой конкретной предварительно обученной модели. Ko-GPT-Trinity 1.2B был обучен на Ko-DAT, крупномасштабном наборе данных, созданном SK Telecom с целью обучения этой модели. Эта модель была обучена на ko-DAT на 35 миллиардах токенов за 72 000 шагов. Он был обучен как замаскированная авторегрессионная языковая модель с использованием перекрестной энтропийной потери. Модель изучает внутреннее представление корейского языка, которое затем можно использовать для извлечения функций, полезных для последующих задач. Модель превосходно генерирует тексты из подсказки, что и было целью предварительного обучения. Ko-GPT-Trinity прошел обучение на Ko-DAT, наборе данных, который, как известно, содержит ненормативную лексику, непристойную, политически окрашенную и иную грубую лексику. Таким образом, Ko-GPT-Trinity может создавать социально неприемлемый текст. Как и в случае со всеми языковыми моделями, трудно заранее предсказать, как Ko-GPT-Trinity отреагирует на определенные запросы, и оскорбительный контент может появиться без предупреждения. Ko-GPT-Trinity обучался как авторегрессионная языковая модель. Это означает…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: skt
Теги: gpt2, gpt3, ko, text-generation-inference, endpoints_compatible
Лайков: 52 | Загрузок: 1,942
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
