> ⚠️ Предварительные результаты — 1 семя, дисперсия не контролируется. Каждое число ниже — это один тренировочный прогон, оцениваемый один раз (50 подсказок × 200 токенов, фиксированное начальное значение). Направления согласованы, величины не подтверждены. Обращайтесь с ним как с лабораторной тетрадью, а не как с эталоном. Cadence — это 15M-параметрическая модель на французском языке, обученная с нуля (без 🤗 трансформаторов, без предварительно обученных весов) на одном GTX 1080 Ti. Это петлевая /рекуррентно-глубинная ссылка семейства из трех моделей — простая петля, без адаптивной остановки. — Архитектура: только декодер, LLaMA-стиль (RoPE, RMSNorm, SwiGLU, QK-Norm, Flash/SDPA внимание), замкнутая: 8 трансформаторных блоков применяются R=4 раза (эффективная глубина 32) с нулевыми добавленными параметрами за пределами небольшого глубинного встраивания. Остаточные проекции Zero-init для стабильного раскатывания. — Размер: 15,01М параметров · nembd 256 / nlayer 8 / nhead 4 · context 768. — Язык: французский, с нуля. — Токенизатор: пользовательский ByteLevel BPE, 32k vocab (bpetokenizer32k.json). — Данные: французский корпус (ИИ-переписанная Википедия, отфильтрованная через RDTextract), всего ~425 млн. токенов. В этих прогонах использовалось 20% разделения поезда, 2 эпохи** (протокол быстрого исследования). Каденция — это ссылка на недоумение:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RDTvlokip
Теги: from-scratch, looped-transformer, adaptive-computation, french, fr
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
