!Черный градиент Минималистичный Корпоративный бизнес Личный профиль Новый баннер LinkedIn (1) Wiola — это новая модель малого языка (SLM), предназначенная только для декодера, разработанная OSCOWL-AI. Он представляет несколько архитектурных улучшений по сравнению с традиционными моделями декодеров Transformer, уделяя особое внимание улучшению контекстных рассуждений, эффективности вычислений и использованию параметров, сохраняя при этом совместимость с экосистемой Hugging Face. > Примечание > > Wiola использует собственную архитектуру. Перед загрузкой модели установите пакет Wiola: > > > > или (как только он станет доступным) > > Wiola — это архитектура Transformer, предназначенная только для декодера, состоящая из: — Слоя внедрения токенов — Несколько слоев декодера Wiola — Final WiolaRMSNorm — Головки моделирования языка — Закрытого межуровневого внимания — Спирально-вращательного позиционного кодирования — Адаптивного слияния токенов (только обучение) — Двухпотоковой сети прямой связи — Остаточных соединений — WiolaRMSNorm Архитектура поддерживает обучение на стандартных корпусах причинно-языкового моделирования, таких как: — OpenWebText — BooksCorpus — FineWeb — Wikipedia — Наборы данных, полученные из общего сканирования. Выпущенные контрольные точки могут использовать разные наборы данных в зависимости от версии модели. — Нормализация UTF-8 — Дедупликация — Документирование…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: oscowlai
Теги: tensorboard, wiola, language-model, transformer, causal-language-model, decoder-only, research, custom-architecture
Лайков: 5 | Загрузок: 229
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
