Например, использование или простоту использования модели вы можете проверить в нашем блокноте Colab: Notebook Genji — это модель трансформера, точно настроенная на модели GPT-J 6B от EleutherAI. Эта конкретная модель обучена только на коде Python размером около 4 ГБ. `*` каждый слой состоит из одного блока прямой связи и одного блока самообслуживания. Модель состоит из 28 слоев с размером модели 4096 и размером прямой связи 16384. Размерность модели разделена на 16 голов, каждая с размером 256. Кодирование поворотного положения (RoPE) было применено к 64 измерениям каждой головы. Модель обучается с помощью словаря токенизации 50257 с использованием того же набора BPE, что и GPT-2/GPT-3. GPT-J 6B был предварительно обучен на Pile, крупномасштабном наборе данных, созданном EleutherAI с целью обучения этой модели. После предварительного обучения он настраивается на коде Python, взятом из Pile. Genji-python-6B обучен на 20 тысяч шагов примерно на 655 миллионах токенов со скоростью обучения 2e-06. Эта модель обучена для помощи в написании кода Python и развлечения, пробуя с ним странные вещи. Эту модель можно использовать только с нашей вилкой, поскольку GPT-J еще не объединен с репозиторием основных трансформаторов. Когда…
Модальности:
Генерация текста
Языки программирования:
Python
Задача: Генерация текста
Автор: NovelAI
Теги: gpt_neo, causal-lm, en, endpoints_compatible
Лайков: 42 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
