NousResearch/Nous-Capybara-34B, migtissera/Tess-M-v1.3 и bhenrym14/airoboros-31-yi-34b-200k** объединены с новой экспериментальной реализацией «смелых связей» через mergekit. Квантовано с помощью exllamav2 по 200 строк (400 тыс. токенов) в длинном чате формата «Косатка-Викунья», научно-фантастическом рассказе и фэнтезийном рассказе. Мы надеемся, что это должно обеспечить более высокую производительность чата, чем небольшое квантование викитекста по умолчанию. 4bpw достаточно для контекста ~ 47 КБ на графическом процессоре емкостью 24 ГБ. Я настоятельно рекомендую работать в exui для повышения скорости в длинном контексте. Я более подробно рассказываю об этом в этом посте на Reddit. Слияние со следующей конфигурацией, а токенизатор из Yi-Llama от chargoddard: Dare_ties тестируется с большим недоумением, чем обычное слияние связей с той же конфигурацией слияния. Вес модели, составляющий в сумме единицу, также кажется оптимальным по результатам тестирования. И результаты в длинном контексте кажутся… лучше, чем предыдущее слияние с Тесс 1.2? Я решил не включать другие тонкие настройки, такие как Dolphin, потому что они не обучаются на базе 200K. Если появятся какие-либо другие настройки 200K, дайте мне знать. Будучи моделью Yi, попробуйте отключить токен BOS и/или снизить температуру с помощью MinP (и никаких других пробоотборников), если результат кажется неправильным. Йи склонен…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, merge, en, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
