Этот репозиторий предоставляет GGUF сборки клинической модели рассуждений, которая была точно настроена из unsloth/gpt-oss-20b-BF16. На медицинские вопросы дается явный след рассуждения, который испускается внутри … тегов, за которым следует окончательный ответ. Файлы GGUF предназначены для вывода через llama.cpp, Ollama и llama-cpp-python. Объединенная 16-битная контрольная точка также включена в качестве предохранителей, так что модель может быть загружена трансформаторами из того же репозитория. > Отказ от ответственности: эта модель была создана только для исследовательских и образовательных целей. Это не медицинское изделие и не предназначено для использования для диагностики, лечения или принятия каких-либо клинических решений. Профессиональная медицинская консультация всегда должна быть запрошена у квалифицированного врача. Предусмотрено четыре сборки GGUF. Уровень квантования каждого файла указывается его именем. Для большинства развертываний рекомендуется model-q4km.gguf. Оперативная память примерно отслеживает размер файла, при этом для контекстного окна требуется дополнительное пространство. Объединенная 16-битная контрольная точка (model-0000-of-00009.safetensors), токенизатор и chattemplate.jinja также хранятся в этом репозитории для использования с Transformers. Шаблон чата гармонии должен быть…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Melikshah
Теги: gguf, gpt_oss, SFT, llama.cpp, unsloth, huggingface, QAT, Clinical
Лайков: 4 | Загрузок: 295
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
