Насколько мне известно, Sonya-7B на момент написания статьи является моделью №1 по производительности в первом повороте MT-Bench, опережая GPT-4, и в целом моделью №2 в MT-Bench. Соня-7Б должна быть хорошей универсальной моделью для всех задач, включая помощника, RP и т. д. Соня-7Б имеет структуру, аналогичную моей предыдущей модели, Silicon-Maid-7B, и использует очень похожее слияние. Это слияние xDAN-AI/xDAN-L1-Chat-RL-v1, Jan-Ai’s Stealth v1.2, chargoddard/piano-medley-7b, NeverSleep/Noromaid-7B-v0.2 и a Thirdpath/NSFWDPOvmgb-7b. Соус ниже. Каким-то образом, объединив эти части, он значительно превосходит любого из своих родителей на MT-Bench. Я выбрал эти модели, потому что: MT-Bench обычно хорошо коррелирует с качеством реальных моделей, и xDAN хорошо с ними справляется. Почти все модели в наборе были отформатированы в формате Альпака, что обеспечивает единообразие операций. Stealth v1.2 стал волшебным дополнением, которое, кажется, увеличило мои баллы в MT-Bench. Я добавил модели RP, потому что это улучшило тесты письма и ролевой игры. 👀 Судя по родительским моделям, я ожидаю, что эта модель будет использоваться с контекстным окном 8192. Пожалуйста, используйте альфа-масштабирование NTK 2,6, чтобы экспериментально опробовать контекст 16384. Позвольте мне быть откровенным: несмотря на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SanjiWatsuki
Теги: mistral, merge, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 644
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
