TheBeagle — модель с параметрами 7B, обученная на наборе данных The Bagel. DPO и UNA применяются к набору тщательно подобранных пар DPO. — Занял первое место в таблице лидеров HF, впечатляющие результаты!!! 73 ARC и очень хорошо сбалансирован! Набор данных был создан с использованием исходного кода бублика, включая этап обеззараживания. В качестве базовой модели мы использовали новейшую модель нейронного чата Intel. Он очень хорошо справляется со многими задачами, но всегда лучше, если вы поиграете с ним самостоятельно. Работал с VLLM, поэтому ожидайте, что они будут не такими, как показано на плате, но не слишком далеко 🙂 В этом выпуске мы применяли UNA только через перцептроны. Это было сделано на скорости 3.5e-7, и код обучающего цикла также является оригинальным кодом бублика и трансформаторов — 4.35.2-UNA. Я не совсем в этом уверен, так как мы использовали ванильную версию обучающего кода бублика. Но хорошая модель должна иметь возможность обобщать различные форматы подсказок, так что смело пробуйте. Помните, что если вы используете модели UNA, укажите это в своей карточке модели. Не для коммерческого использования, а только для академических и исследовательских целей.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fblgit
Теги: mistral, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 37 | Загрузок: 640
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
