Канаря — предварительно обученная турецкая модель GPT-J 2B. Семейство Kanarya, выпущенное в рамках усилий турецкого хранилища данных, имеет две версии (Kanarya-2B, Kanarya-0.7B). Канаря-2Б — увеличенная версия, Канаря-0,7Б — уменьшенная версия. Обе модели обучены на крупномасштабном текстовом корпусе турецкого языка, отфильтрованном из наборов данных OSCAR и mC4. Данные обучения собираются из различных источников, включая новости, статьи и веб-сайты, для создания разнообразного и высококачественного набора данных. Модели обучаются с использованием реализации JAX/Flax архитектуры GPT-J. — Название модели: Kanarya-2B — Размер модели: 2050M параметров — Данные обучения: OSCAR, mC4 — Язык: турецкий — Слои: 24 — Скрытый размер: 2560 — Количество голов: 20 — Размер контекста: 2048 — Позиционное встраивание: вращающееся — Размер словаря: 32 768 Эта модель предварительно обучена только на текстовых данных на турецком языке и предназначена для точно настроен на широкий спектр задач турецкого НЛП. Модель можно использовать для различных задач турецкого НЛП, включая генерацию текста, перевод, обобщение и другие задачи турецкого НЛП. Эта модель не предназначена для использования для каких-либо последующих задач без тонкой настройки. Модель обучена на разнообразном и качественном…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: asafaya
Теги: jax, gptj, tr, endpoints_compatible
Лайков: 33 | Загрузок: 394
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
