Pragna-1B — это модель преобразователя, предназначенная только для декодера, вдохновленная TinyLlama, со следующими характеристиками: — Слои: 22 — Заголовки внимания: 32 — Длина контекста: 2048 — Скрытое измерение: 2048 — Расширенное измерение: 5632 — Размер словаря: 69632 Эта модель включает в себя ротационное позиционное кодирование для введения позиционной информации во вложения, используя базу 10 000. В качестве функции активации он использует RSNorm со значением эпсилон 1e-5 и сигмовидный блок активации (SiLU). Кроме того, Pragna-1B использует внимание к групповым запросам, альтернативу многоголовому вниманию, которое повышает скорость обучения и вывода при одновременном уменьшении пропускной способности памяти. Это также поддерживает использование маловычислительных устройств для задач вывода. Pragna-1B обучен на нашей собственной платформе GenAI Studio, модульной платформе для разработчиков искусственного интеллекта, предназначенной для поддержки любой архитектуры модели GenAI. Он способен масштабироваться на тысячи графических процессоров или ускорителей и отличается отказоустойчивостью. При разработке этой модели использовался Triton, язык с открытым исходным кодом от OpenAI, для создания высокопроизводительных объединенных ядер CUDA для различных операций. Кроме того, модель использует полностью сегментированные данные…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: soketlabs
Теги: llama, indic, text2text-generation, conversational, hi, bn, gu, en
Лайков: 22 | Загрузок: 377
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
