Этот репозиторий содержит реализацию модели AV-HuBERT (Audio-Visual Hidden Unit BERT) Huggingface, специально обученную и протестированную на наборе данных MuAViC (Многоязычный аудиовизуальный корпус). AV-HuBERT — это модель с самоконтролем, предназначенная для аудиовизуального распознавания речи, использующая как аудио, так и визуальные модальности для достижения надежной работы, особенно в шумной среде. — Предварительно обученные модели: доступ к предварительно обученным моделям AV-HuBERT, точно настроенным на наборе данных MuAViC. Предварительно обученная модель экспортирована из репозитория MuAViC. — Скрипты вывода: легко конвейеризировать с помощью интерфейса Huggingface. — Скрипты предварительной обработки данных: включая нормализацию частоты кадров, извлечение губ и звука. Языки Huggingface Арабский Checkpoint-AR Немецкий Checkpoint-DE Греческий Checkpoint-EL Английский Checkpoint-EN Испанский Checkpoint-ES Французский Checkpoint-FR Итальянский Checkpoint-IT Португальский Checkpoint-PT Русский Checkpoint-RU Многоязычный Checkpoint-ardeelesfritpt_ru AV-HuBERT: значительная часть кодовой базы в этом репозитории адаптирована из исходной реализации AV-HuBERT. Репозиторий MuAViC: Мы также выражаем признательность создателям набора данных MuAViC и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nguyenvulebinh
Теги: speech_to_text, endpoints_compatible
Лайков: 8 | Загрузок: 191
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
