> ПРИМЕЧАНИЕ. Эта модель была конвертирована в 8-битную версию с помощью скриптов hivemind. > С помощью нового децентрализованного алгоритма обучения мы точно настроили GPT-J (6B) на 3,53 миллиарда токенов, в результате чего появилась GPT-JT (6B), модель, которая превосходит многие модели с более чем 100B параметрами в тестах классификации. Мы включили коллекцию открытых методов и наборов данных для создания GPT-JT: — GPT-JT — это ответвление GPT-J от EleutherAI (6B); — Мы использовали цель обучения UL2, позволяющую модели видеть двунаправленный контекст подсказки; — Модель была обучена на большой коллекции разнообразных данных, включая набор данных цепочки мыслей (CoT), общедоступного пула подсказок (P3), набора данных Natural-Instructions (NI). С помощью упомянутых выше методов GPT-JT значительно улучшает производительность задач классификации по сравнению с исходным GPT-J и даже превосходит большинство моделей с параметрами 100B+! Мы тренируем GPT-JT, используя цель обучения UL2 [1][2]. Исходный GPT-J использует причинную маску (как показано внизу слева) для авторегрессионной генерации. Таким образом, для каждого токена он может видеть только свой предыдущий контекст. Чтобы в полной мере использовать контекстную информацию, мы продолжаем обучать GPT-J с целями обучения UL2 и используем причинную маску с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: iliemihai
Теги: gptj, en, endpoints_compatible
Лайков: 7 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
