Официальная модель весит «На пути к созданию многоязычной языковой модели для медицины». Этот репозиторий содержит MMed-Llama 3, многоязычную модель медицинского фонда с 8 миллиардами параметров. MMed-Llama 3 построен на основе Llama 3 и дополнительно прошел предварительное обучение на MMedC, комплексном многоязычном медицинском корпусе. Дальнейшее предварительное обучение расширяет знания модели в медицинской области. Модель прошла дальнейшее предварительное обучение на MMedC со следующими гиперпараметрами: — Итерации: 15000 — Общий размер пакета: 512 — Длина отсечки: 8192 — Скорость обучения: 2e-5 — Обратите внимание, что это базовая модель, которая не подвергалась тонкой настройке инструкций. [2024.2.21] Выпущена наша предварительная статья ArXiv. Погрузитесь в наши выводы здесь. [2024.2.20] Мы выпускаем MMedLM и MMedLM 2. Благодаря авторегрессионному непрерывному обучению на MMedC эти модели достигают превосходной производительности по сравнению со всеми другими моделями с открытым исходным кодом, даже конкурируя с GPT-4 на MMedBench. [2023.2.20] Мы выпускаем MMedC, многоязычный медицинский корпус, содержащий 25,5 млрд токенов. [2023.2.20] Мы выпускаем MMedBench, новый многоязычный медицинский тест с множественным выбором ответов на вопросы и обоснованием. Посмотреть таблицу лидеров можно здесь. …
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина
Задача: Генерация текста
Автор: Henrychur
Теги: llama, medical, conversational, en, zh, ja, fr, ru
Лайков: 32 | Загрузок: 1,276
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
