Оптимизированная для предметной области модель рассуждения, построенная на основе DeepSeek-R1-Distill-Qwen-32B, усовершенствованная с помощью многоэтапного конвейера обучения с учетом квантования GPTQ и тонкой настройки QLoRA. Достигает 84% по MedQA — в пределах 4 баллов от GPT-4o — в пакете размером ~20 ГБ, который подходит для одного графического процессора L40/L40s. Эта модель не является простым квантованием. Он был создан в четыре этапа: > Chaperone-Thinking-LQ-1.0 обеспечивает конкурентоспособную производительность по сравнению с пограничными моделями полной точности при примерно в 3 раза меньшем размере модели. Пропускная способность выше в 1,6 раза, медианная задержка ниже примерно на 43 %. > Среднее значение по 10 испытаниям, параллелизм = 1, max_tokens = 512, температура = 0. — 4-битное квантование приводит к некоторому компромиссу в точности общих тестов по сравнению с базовой моделью полной точности. — Точная настройка области оптимизирована для медицинских/научных рассуждений; эффективность общего назначения может отличаться — Не предназначена для замены профессионального медицинского заключения — Веб-сайт: chaperoneai.net — Обнимающее лицо: [empirischtech](https://empirischtech.at/)
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Медицина Финансы Юриспруденция Биология Химия
Задача: Генерация текста
Автор: empirischtech
Теги: qwen2, gptq, int4, quantized, qlora, medical, medqa, biology
Лайков: 13 | Загрузок: 1,068
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
