Medical mT5: многоязычная LLM-программа преобразования текста в текст с открытым исходным кодом для медицинской сферы Мы представляем Medical mT5, первую многоязычную модель преобразования текста в текст с открытым исходным кодом для медицинской сферы. Medical mT5 — это модель кодера-декодера, разработанная в результате продолжения обучения общедоступных контрольных точек mT5 на данных медицинской сферы для английского, испанского, французского и итальянского языков. — 📖 Статья: Medical mT5: многоязычная программа LLM для преобразования текста в текст с открытым исходным кодом для медицинской сферы — 🌐 Веб-сайт проекта: https://univ-cotedazur.eu/antidote Настройки предварительного обучения для MedMT5. Медицинский mT5-Large (HiTZ/Medical-mT5-large) Медицинский mT5-XL (HiTZ/Medical-mT5-xl) Парам. нет. 738M 3B Длина последовательности 1024 480 Токен/шаг 65536 30720 Эпохи 1 1 Всего токенов 4,5B 4,5B Оптимизатор Adafactor Adafactor LR 0,001 0,001 Константа планировщика Константа Аппаратное обеспечение 4xA100 4xA100 Время (ч) 10,5 20,5 CO2eq (кг) 2,9 5,6 — Разработано: Икер Гарсиа-Ферреро, Родриго Агерри, Айцибер Атуча Салазар, Елена Кабрио, Икер де ла Иглесиа, Альберто Лавелли, Бернардо Маньини, Бенджамин Молине, Йохана Рамирес-Ромеро, Герман Ригау, Хосе Мария Вилья-Гонсалес, Серена Виллата и Андреа Занинелло — Контактное лицо: Икер Гарсиа-Ферреро и Родриго…
Модальности:
Генерация текста
Области применения:
Мультиязычность Медицина
Задача: Генерация текста
Автор: HiTZ
Теги: mt5, text2text-generation, medical, multilingual, medic, en, es, fr
Лайков: 23 | Загрузок: 1,108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
