Представляем «CatPPT» — идеальную альтернативу другому большому коту в городе, известному тем, что он хранит все секреты при себе! Наш кошачий друг здесь создан путем слияния моделей openchat и нейронного чата с использованием метода Gradient SLERP (в результате чего получается база rishiraj/CatPPT), а затем настроен на набор данных no_robots для чата. Это самая эффективная модель 7B в таблице лидеров, в которой нет никакого намека на загрязнение оценочных данных.  rishiraj/CatPPT прошел обучение в период с 15 по 17 декабря 2023 года. Он достиг следующих результатов на OpenLLMLeaderboard. На момент выпуска CatPPT является моделью чата с самым высоким рейтингом 7B в таблице лидеров, свободной от загрязнения оценочных данных. Вот как можно запустить модель с помощью функции конвейера() из 🤗 Трансформаторов: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — размер обучающей партии: 4 — размер evalbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — градиентное накопление шагов: 128 — общий размер поезда: 512 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: косинус — число эпох: 1 -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rishiraj
Теги: mistral, merge, text-generation-inference, endpoints_compatible
Лайков: 48 | Загрузок: 2,816
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
