— Название: BiMediX — Версия: 1.0 — Тип: Большая языковая модель двуязычной медицинской смеси экспертов (LLM) — Языки: английский, арабский — Архитектура модели: Mixtral-8x7B-Instruct-v0.1 — Данные обучения: BiMed1.3M, двуязычный набор данных с разнообразными медицинскими взаимодействиями. — Основное использование: медицинское взаимодействие на английском и арабском языках. — Возможности: MCQA, закрытый контроль качества и чаты. — Набор данных: BiMed1.3M, 632 миллиона специализированных токенов здравоохранения. — Адаптация QLoRA: реализует метод адаптации низкого ранга, включающий обучаемые веса адаптеров низкого ранга в эксперты и сеть маршрутизации. Это приводит к тренировке около 4% исходных параметров. — Ресурсы для обучения: модель прошла обучение примерно на 632 миллионах токенов из арабско-английского корпуса, включая 288 миллионов токенов исключительно для английского языка. — Контрольные показатели: превосходит базовую модель и Jais-30B по медицинским оценкам. — Потенциальные проблемы: галлюцинации, токсичность, стереотипы. — Использование: Только в исследовательских целях. — Доступность: репозиторий BiMediX на GitHub. — arxiv.org/abs/2402.13253 Сара Пьери, Сахал Шаджи Муллапилли, Фахад Шахбаз Хан, Рао Мухаммад Анвер Салман Хан, Тимоти Болдуин, Хишам Чолаккал…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: BiMediX
Теги: mixtral, medical, conversational, en, ar, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 1,501
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
