— Выпуск ✨v1✨ (18 января 2023 г.) Веса полной точности, сегментирования, половинной точности и сетки-трансформаторов-jax Все контрольные точки — Выпуск v1beta5 (18 декабря 2022 г.) Веса полной точности, сегментирования и половинной точности — Выпуск v1beta4 (28 октября 2022 г.) 2022 г.) Веса полной, сегментированной и половинной точности — выпуск v1beta3 (8 августа 2022 г.) Веса полной, сегментированной и половинной точности — выпуск v1beta2 (18 июня 2022 г.) Веса полной, сегментированной и половинной точности — выпуск v1beta1 (28 апреля 2022 г.) 2022) Гири половинной точности NB-GPT-J-6B — это норвежская доработанная версия GPT-J 6B, модели трансформатора, обученной с использованием Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу модели, а «6B» представляет количество обучаемых параметров (6 миллиардов параметров). &аст; Каждый уровень состоит из одного блока прямой связи и одного блока самообслуживания. † Хотя матрица внедрения имеет размер 50 400, токенизатор GPT-2 использует только 50 257 записей. Модель состоит из 28 слоев с размером модели 4096 и размером прямой связи 16384. Размерность модели разделена на 16 головок, каждая из которых имеет размерность 256. Встраивание вращающегося положения (RoPE)…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NbAiLab
Теги: gptj, causal-lm, no, nb, nn, endpoints_compatible
Лайков: 21 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
