Одним из направлений работы Together Research являются новые архитектуры для длительного контекста, улучшенное обучение и производительность вывода по сравнению с архитектурой Transformer. Опираясь на исследовательскую программу нашей команды и научных сотрудников, основанную на моделях последовательностей, основанных на обработке сигналов, мы рады представить модели StripedHyena. StripedHyena — первая альтернативная модель, конкурирующая с лучшими трансформерами с открытым исходным кодом аналогичных размеров в краткосрочных и долгосрочных оценках. StripedHyena-Nous-7B (SH-N 7B) — наша модель чата для этого выпуска, разработанная совместно с нашими сотрудниками из Nous Research. — Подробнее читайте здесь, в нашем блоге. — Играйте с моделью на нашей игровой площадке! — Погрузитесь в детали нашей автономной реализации и связанных с ней исследований: 1, 2, 3. StripedHyena — это гибридная архитектура, состоящая из многоголовочного внимания с групповыми запросами и закрытых сверток, организованных в блоки Hyena, в отличие от традиционных трансформаторов, использующих только декодер. — Декодирование константной памяти в блоках Hyena посредством представления сверток в виде моделей в пространстве состояний (модальная или каноническая форма) или в виде усеченных фильтров. — Низкая задержка, более быстрое декодирование и более высокая пропускная способность, чем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: togethercomputer
Теги: stripedhyena, custom_code, en
Лайков: 143 | Загрузок: 92
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
