Architext GPT-J-162M — это модель трансформера, обученная с использованием Mesh Transformer JAX on the Pile Бена Ванга и настроенная специально на синтетически сгенерированном наборе данных архитектурных планировок квартир. Он способен генерировать большое разнообразие проектов в удобном геометрическом представлении, которое можно использовать в различных рабочих процессах проектирования, используя только подсказку на естественном языке. Модель состоит из 12 слоев с размером модели 768 и размером прямой связи 2048. Размерность модели разделена на 16 головок, каждая с размером 256. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучается с помощью словаря токенизации 50257 с использованием того же набора BPE, что и GPT-2/GPT-3. GPT-J 162B прошел предварительное обучение на Pile, крупномасштабном наборе данных, созданном EleutherAI. Затем он был настроен на синтетически сгенерированных данных, которые были процедурно сгенерированы с использованием пакета программного обеспечения Rhinocers/Grasshopper. Модель была настроена на 1,25 миллиарда токенов за 11 500 шагов на TPU v3-8. Он был обучен как авторегрессионная языковая модель, использующая потерю перекрестной энтропии для максимизации вероятности предсказания следующего токена…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: architext
Теги: gptj, architecture, design, en, endpoints_compatible
Лайков: 31 | Загрузок: 1,648
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
