K2 Think V2 — это общая модель рассуждения с открытыми весами, содержащая 70 миллиардов параметров и обладающая высокой производительностью в конкурентном решении математических задач, построенная на базе K2-V2-Instruct и включающая полностью независимую модель рассуждения. Предоставленный шаблон чата обеспечивает высокую эффективность рассуждений. Вы можете использовать K2 Think V2 с Transformers. Если вы используете Transformers.pipeline, шаблон чата будет применен автоматически. Если вы используете model.generate напрямую, вам придется применить шаблон чата вручную. Шаблон чата напрямую унаследован от K2-V2-Instruct, при этом для параметра Reasoningeffort по умолчанию установлено значение «высокий». Другие уровни рассуждения («низкий» и «средний») все еще доступны, но не тестировались и не оценивались. Таким образом, поведение модели при таких настройках не гарантирует сохранения заявленной производительности. Если вы не можете использовать tokenizer.applychattemplate, вы также можете передать эти аргументы, используя extrabody иchattemplatekwargs`: K2 Think V2 устанавливает надежный базовый уровень безопасности, одновременно эффективно устраняя «налог на согласование» предыдущих выпусков K2 Think. Несмотря на высокие общие показатели безопасности, все еще существуют возможности улучшить модель с точки зрения обращения с чувствительными…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LLM360
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 28 | Загрузок: 1,735
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
