Одним из направлений работы Together Research являются новые архитектуры для длительного контекста, улучшенное обучение и производительность вывода по сравнению с архитектурой Transformer. Опираясь на исследовательскую программу нашей команды и научных сотрудников, основанную на моделях последовательностей, основанных на обработке сигналов, мы рады представить модели StripedHyena. StripedHyena — первая альтернативная модель, конкурирующая с лучшими трансформерами с открытым исходным кодом аналогичных размеров в краткосрочных и долгосрочных оценках. StripedHyena-Hessian-7B (SH 7B) — наша базовая модель для этого выпуска. — Подробнее читайте здесь, в нашем блоге. — Играйте с моделью на нашей игровой площадке! — Погрузитесь в детали нашей автономной реализации и связанных с ней исследований: 1, 2, 3. StripedHyena — это гибридная архитектура, состоящая из многоголовочного внимания с групповыми запросами и закрытых сверток, организованных в блоки Hyena, в отличие от традиционных трансформаторов, использующих только декодер. — Декодирование константной памяти в блоках Hyena посредством представления сверток в виде моделей в пространстве состояний (модальная или каноническая форма) или в виде усеченных фильтров. — Низкая задержка, более быстрое декодирование и более высокая пропускная способность, чем у Transformers. — Улучшение оптимального обучения и вывода…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: stripedhyena, custom_code, en
Лайков: 66 | Загрузок: 105
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
