Пожалуйста, проверьте наш блог для получения более подробной информации, образцов, оценок и многого другого: Сообщение в блоге Genji-JP 6B — это модель, настроенная на основе нашего японского набора данных для повествования на основе модели GPT-J 6B от EleutherAI. Эта конкретная модель обучена на японских веб-романах. `*` каждый слой состоит из одного блока прямой связи и одного блока самообслуживания. Модель состоит из 28 слоев с размером модели 4096 и размером прямой связи 16384. Размерность модели разделена на 16 голов, каждая с размером 256. Кодирование поворотного положения (RoPE) было применено к 64 измерениям каждой головы. Модель обучается с помощью словаря токенизации 50257 с использованием того же набора BPE, что и GPT-2/GPT-3. GPT-J 6B был предварительно обучен на Pile, крупномасштабном наборе данных, созданном EleutherAI с целью обучения этой модели. После предварительного обучения он настраивается на нашем наборе данных японского повествования. Более подробную информацию можно найти в нашем блоге. Этот проект стал возможен благодаря вычислениям, предоставленным Исследовательским облаком ТПУ.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NovelAI
Теги: gptj, causal-lm, ja, en, endpoints_compatible
Лайков: 52 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
