— ✨Версия v1✨: 25 августа 2022 г. (веса полной и половинной точности, на шаге 1M) — Версия v1beta3: 22 июля 2022 г. (веса полной и половинной точности, шаг 850k) — Версия v1beta2: 6 июня 2022 г. (веса полной и половинной точности, шаг 616k) — Версия v1beta1: 28 апреля 2022 г. (только веса половинной точности, на шаге 408k) — Все контрольные точки — Контрольная точка 130k. — КПП 275к. — КПП 408к. — КПП 616к. — КПП 850к. — КПП 1М. ## Демо: https://huggingface.co/spaces/bertin-project/bertin-gpt-j-6B BERTIN-GPT-J-6B — это доработанная испанская версия GPT-J 6B, модели трансформатора, обученной с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу модели, а «6B» представляет количество обучаемых параметров. &аст; Каждый уровень состоит из одного блока прямой связи и одного блока самообслуживания. † Хотя матрица внедрения имеет размер 50 400, токенизатор GPT-2 использует только 50 257 записей. Модель состоит из 28 слоев с размером модели 4096 и размером прямой связи 16384. Размерность модели разделена на 16 головок, каждая с размером 256. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. …
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bertin-project
Теги: gptj, causal-lm, es, endpoints_compatible
Лайков: 18 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
