База Avicenna-8B является основополагающей моделью проекта Avicenna. Это специализированная медицинская языковая модель, разработанная для достижения рассуждений SOTA в масштабе параметров 8B посредством архитектурного слияния. Путем хирургического слияния трех различных моделей ламы 3.1 и использования стратегии вывода ансамбля самосогласованности. Эта структура предотвращает «катастрофическое забывание» общей логики при введении массивных медицинских знаний в глубокие слои. > Methodology Notes: > Hardware: All results obtained using 4-bit NF4 Quantization on NVIDIA T4 GPUs. Full precision scores are expected to be higher. > Inference: MedQA and MedMCQA utilized Self-Consistency Ensembling (SC) inference (N=5 voters). MMLU utilized standard Greedy decoding. > Sampling:** MedQA and MedMCQA results represent randomized subsets of the validation/test sets due to compute constraints. MMLU represents the complete evaluation of all 6 medical subsets. CONFIGURATION — MODELID = «salihfurkaan/Avicenna-8B-Base» TOKENIZERID = «meta-llama/Meta-Llama-3.1-8B-Instruct» def setupmodel(): print(f»Loading {MODELID} in 4-bit mode…») bnbconfig = BitsAndBytesConfig( loadin4bit=True, bnb4bitcomputedtype=torch.float16,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Медицина Биология
Задача: Генерация текста
Автор: salihfurkaan
Теги: llama, medical, clinical-reasoning, self-consistency, merge, dare-ties, biology, healthcare
Лайков: 3 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
