QED-75M — это компактная причинно-языковая модель, предназначенная только для декодера, реализованная для Hugging Face с использованием специального модуля преобразователей. Архитектура модели сочетает в себе RoPE (встраивание вращательного положения), RMSNorm, блоки прямой связи SwiGLU и причинное самовнимание, реализованное через torch.nn.functional.scaleddotproductattention. Веса внедрения токенов могут быть связаны с выходной проекцией (tiewordembeddings`). Эта карточка модели фокусируется на самой модели (архитектуре, тензорном интерфейсе, ограничениях времени выполнения). Данные обучения, процедура обучения и скрипты экспорта описаны в репозитории README.md. — Сведения о модели — Использование — Предвзятость, риски и ограничения — Детали обучения — Оценка — Технические характеристики — Архитектура модели — Внимание и RoPE — MLP (SwiGLU) — Внедрения и головка вывода — Интерфейс ввода/вывода — Кэш KV и семантика генерации — Маскирование внимания — Ограничения длины — Гиперпараметры по умолчанию — Как начать работу с моделью — Ссылка — Контакт с картой модели — Генерация текста с использованием model.generate(…); репозиторий также включает готовый к запуску локальный скрипт вывода:generevityexample.py. — Подсчет/оценка условных вероятностей с помощью…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: levossadtchi
Теги: qed, causal-lm, decoder-only, rope, rmsnorm, swiglu, custom-architecture, custom_code
Лайков: 12 | Загрузок: 1,330
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
