Мы провели предварительное обучение с нуля на модели архитектуры 3b RetNet (https://arxiv.org/abs/2307.08621), используя смешанный набор данных на японском и английском языках. Данная модель выпущена в первую очередь для фундаментальных исследований «механизма удержания». — Разработано: SpiralAI. — Тип модели: SpiralAI. База Spiral-RetNet-3b представляет собой языковую модель, оснащенную механизмом хранения. Он использует токенизатор cyberagent/calm2-7b-chat. — Языки: японский, английский. — Лицензия: MIT. — Обучение: обучение на токенах 80b. — Длина контекста: 2048 токенов. Клонируйте репозиторий с https://github.com/syncdoth/RetNet и следуйте приведенному там руководству по началу работы. !retention Эта визуализация показывает механизм хранения в действии. Генерируемый токен обозначается `*`. Синие столбцы показывают, как токены взвешиваются во время генерации. Используя математическую эквивалентность между «рекуррентным режимом» и «параллельным режимом», мы применяем тот же метод визуализации, что и механизм внимания, например, внутренний продукт между запросами и ключами суммируется по всем главам после того, как принимаются абсолютные значения. Здесь мы показываем результат последнего слоя. Мы сравнили потери при тестировании Spiral-AI/Spiral-RetNet-3b-base…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Spiral-AI
Теги: retnet, ja, en, endpoints_compatible
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
