Всегда проверяйте мое пространство, чтобы узнать последние результаты тестов для моих моделей! https://huggingface.co/spaces/CultriX/YetAnotherLLMLeaderboard В этой модели используется udkai/Turdus, что может давать неточные результаты для оценок Виногранде. Ниже приводится цитата, непосредственно взятая со страницы этой модели: — «Менее загрязненная версия udkai/Garrulus и вторая модель, которая будет обсуждаться в статье Тонкое загрязнение DPO с модифицированным Винограндом, увеличивает TruthfulQA, Hellaswag и ARC». — «Незаметное загрязнение DPO модифицированным Виногранде приводит к тому, что средняя точность всех показателей, не относящихся к Виногранде (например, включая также MMLU и GSM8K), становится на 0,2% выше, чем у базовой модели». Насколько я понимаю, на оценки Виногранде лишь незначительно влияет DPO-Загрязнение, которое имеет «побочный эффект» в виде увеличения оценок по другим тестам. Поскольку влияние на результаты Виногранде в результатах сравнительного тестирования udkai/Turdus было незначительным, а эта модель сочетает его с другими моделями (вероятно, делая этот эффект еще менее выраженным), я все же считаю, что эта модель может представлять ценность для сообщества, поскольку ее общая производительность весьма впечатляет. Однако я не хочу…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CultriX
Теги: mistral, merge, mergekit, lazymergekit, abideen/NexoNimbus-7B, fblgit/UNA-TheBeagle-7b-v1, argilla/distilabeled-Marcoro14-7B-slerp, text-generation-inference
Лайков: 4 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
