В Granite Guardian 4.1 8B представлена улучшенная поддержка «Принеси свои собственные критерии» (BYOC), позволяющая пользователям определять произвольные критерии оценки, выходящие за рамки предварительно запрограммированных детекторов безопасности и галлюцинаций. Теперь модель может точно оценивать сложные, состоящие из нескольких частей требования, такие как правила форматирования, ограничения длины и инструкции, специфичные для предметной области. Ключевые улучшения по сравнению с Granite Guardian 3.3: — Возможность BYOC: значительный прирост в тестах на выполнение инструкций. Например, IFEval с несколькими ограничениями BAcc улучшается с 0,458 до 0,844 (без размышлений), InfoBench (Human) с 0,535 до 0,706, InfoBench (GPT-4) с 0,585 до 0,726. — Модель вознаграждения «Лучшая из N»: при использовании в качестве модели вознаграждения для выбора «лучшее из N» для проверяемых задач в тесте JETTS Granite Guardian 4.1 8B достигает общего балла 70,29, превосходя все протестированные модели вознаграждения по параметрам до 70B. — Гибридное мышление: поддерживает как режим мышления (с подробными следами рассуждений), так и режим без мышления (суждения да/нет с малой задержкой). — Вызов функций: более сильное обнаружение галлюцинаций в рабочих процессах агентов: BAcc улучшается с 0,74 до 0,79 (не думать). — Поддержание безопасности и обоснованности: конкурентоспособно с предыдущими выпусками на OOD…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ibm-granite
Теги: granite, guardian, safety, hallucination, conversational, en, endpoints_compatible
Лайков: 17 | Загрузок: 321
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
