📆[2024-04-18] Спасибо команде Meta LlamaGuard за сравнение нашей модели MD-Judge с их недавно обновленной LlamaGuard2. А наш MD-Judge все еще находится в стадии разработки. MD-Judge — это защитное устройство на базе LLM, доработанное на базе Мистраля-7Б. MD-Judge служит классификатором для оценки безопасности пар QA. MD-Judge был создан для изучения безопасности различных программ LLM, выступающих в качестве общего инструмента оценки, который предлагается в рамках 🥗SALAD-Bench. Для получения дополнительной информации вы можете проверить следующий источник: — Бумага — Код — Данные — Страница проекта Сравните нашу модель MD-Judge с другими методами на различных наборах тестов общественной безопасности, используя формат QA. Все методы, основанные на модели, оцениваются с использованием одного и того же шаблона прокси безопасности. — Ключевое слово — GPT-3.5: https://platform.openai.com/docs/models/gpt-3-5-turbo — GPT-4: https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo — LlamaGuard: https://huggingface.co/meta-llama/LlamaGuard-7b > Сравнение результатов F1 нашей модели и других ведущих моделей методы. Лучшие результаты выделены жирным шрифтом, а вторые лучшие подчеркнуты. Base и Enhance указывают на наш SALAD-Base-Test и SALAD-Enhance-Test. Пожалуйста, обратитесь к нашему Github для ускоренного вывода и других примеров с использованием примеров.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenSafetyLab
Теги: mistral, ai-safety, safetyguard, safety, benchmark, salad-bench, evaluation, judge
Лайков: 18 | Загрузок: 1,139
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
