Облегченная реализация языковой модели в стиле GPT с использованием TensorFlow с архитектурой Mixture of Experts (MoE) для эффективного вычисления. — Архитектура: Трансформатор со смесью экспертов (MoE) — Общие параметры: 52,8M — Структура: TensorFlow 2.x — Обучение: Корпус книг проекта Gutenberg с токенизацией BPE на уровне байта — Тип модели: Причинная языковая модель — Размер встраивания: 512 — Количество слоев: 8 блоков трансформатора — Внимание: 8 — Прямой размер: 2048 — Количество экспертов: 4 (в слоях MoE) — Слои MoE: Слои 2, 4, 6 — Размер словаря: 10 000 — Максимальная длина последовательности: 256 — Позиционный Emb
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Devansh0711
Теги: tensorflow, language-model, moe, transformer, causal-lm, en, model-index
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
