Канаря — это предварительно обученная турецкая модель GPT-J 750M. Семейство Kanarya, выпущенное в рамках усилий турецкого хранилища данных, имеет две версии (Kanarya-2B, Kanarya-0.7B). Канаря-2Б — увеличенная версия, Канаря-0,7Б — уменьшенная версия. Обе модели обучены на крупномасштабном текстовом корпусе турецкого языка, отфильтрованном из наборов данных OSCAR и mC4. Данные обучения собираются из различных источников, включая новости, статьи и веб-сайты, для создания разнообразного и высококачественного набора данных. Модели обучаются с использованием реализации JAX/Flax архитектуры GPT-J. Модели предварительно обучены и предназначены для точной настройки на широкий спектр задач турецкого НЛП. — Название модели: Kanarya-750M — Размер модели: параметры 750M — Данные обучения: OSCAR, mC4 — Язык: турецкий — Слои: 12 — Скрытый размер: 2048 — Количество голов: 16 — Размер контекста: 2048 — Позиционное встраивание: вращающееся — Размер словаря: 32 768 Эта модель предварительно обучена только на текстовых данных на турецком языке и предназначена для точно настроен на широкий спектр задач турецкого НЛП. Модель можно использовать для различных задач турецкого НЛП, включая генерацию текста, перевод, обобщение и другие задачи турецкого НЛП. Данная модель не предназначена для…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: asafaya
Теги: jax, gptj, tr, endpoints_compatible
Лайков: 11 | Загрузок: 824
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
