Parcae — это новая стабильная цикличная архитектура для языкового моделирования. В отличие от традиционных архитектур с фиксированной глубиной, которые масштабируются за счет увеличения количества параметров, Parcae увеличивает число FLOP, отправляя активации через блок слоев в цикле. Он решает проблемы нестабильности в предшествующих петлевых моделях, превращая петлю в нелинейную динамическую систему, изменяющуюся во времени, и ограничивая спектральную норму параметров инжекции. — Документ: Parcae: законы масштабирования для стабильных зацикленных языковых моделей — Страница проекта: https://sandyresearch.github.io/parcae/ — Репозиторий: https://github.com/sandyresearch/parcae. Вы можете загрузить предварительно обученные веса с помощью библиотеки parcaelm`: эта конкретная контрольная точка представляет собой вариант параметра 1.3B Parcae, обученный на наборе данных FineWeb-Edu. Эта база кода была построена на karpathy/nanochat, seal-rg/recurrent-pretraining и Lightning-AI/litgpt.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SandyResearch
Лайков: 7 | Загрузок: 1,004
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
