Эта модель представляет собой вариант рассуждений, подобных o1, который был доработан в MedIT Solutions Llama 3.2 3B Instruct (вариант Meta LLama 3.2 3B Instruct). В модели представлены специальные теги ( и ) для генерации текста в стиле цепочки мыслей с упором на задачи рассуждения в стиле инструкций. Эта модель была настроена для точного соответствия, а не для создания разнообразного распределения. Поэтому я рекомендую протестировать его с помощью dosample=False или установки температуры=0,0` для детерминированных выходных данных. 1. Стоп-строки. Поскольку в модели используются теги и для отделения внутренних рассуждений от окончательного ответа, вы должны предоставить их в виде стоп-последовательности (или нескольких стоп-последовательностей, если позволяет ваша платформа), чтобы избежать бесконечной генерации модели. 2. Предотвращение ошибок: иногда модель начинается с . В качестве обходного пути добавьте «nn» в конец приглашения создания (в шаблоне чата), чтобы убедиться, что оно запускается правильно. 3. Библиотеки/инструменты: — Ollama и LM Studio: через файл GGUF. — Блокнот Jupyter (или аналогичный): использование библиотеки Transformers. — Галлюцинация: модель может генерировать правдоподобные, но неправильные или бессмысленные ответы. — Медицинская информация: Никогда не полагайтесь на эту модель как…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: mkurman
Теги: gguf, llama, reasoning, o1, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 180
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
