Шриджан Шривастава Индия Srivastavavsrijan321@gmail.com QCoreNest@gmail.com Технический отчет (Zenodo)📑 Технический отчет (GitHub)📑 Технический отчет (обнимающее лицо)📑 Используйте ультрафиолет для вывода. Установите torch, numpy, regex и colorama. Внедрение архитектуры нейронной сети Transformer в знаменитой статье «Внимание — это все, что вам нужно» вызвало за последние годы огромную волну развития ИИ. Масштабированное внимание скалярного произведения позволяет обрабатывать информацию с более высокой эффективностью и качеством, чего не хватало предыдущим моделям на основе RNN. Однако модели на основе трансформаторов имеют свои проблемы, особенно с эффективностью параметров для крошечных моделей с параметрами ≤ 5M. В таком маленьком масштабе модель Трансформера, по сути, использует больше параметров, чем на самом деле следует. Это доменное пространство с менее чем десятью миллионами параметров очень мало исследовано и на это есть веские причины, но я все равно хотел его изучить. Итак, в этой статье я представляю Silia, новую архитектуру трансформатора, предназначенную для эффективного моделирования и классификации задач при строгом бюджете параметров. Обучение архитектуре GPT-2 (проект nanoGPT Андрея Карпати) с теми же «базовыми» гиперпараметрами, данными обучения и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Srijan-Srivastava
Теги: en
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
