NousResearch/Nous-Capybara-34B, migtissera/Tess-M-v1.3 и bhenrym14/airoboros-31-yi-34b-200k** объединены с новой экспериментальной реализацией «смелых связей» через mergekit. См.: > Языковые модели — это Super Mario: поглощение способностей из гомологичных моделей в качестве бесплатного обеда, объединенные со следующей конфигурацией, и токенизатор из Yi-Llama от Chargoddard: Dare_ties тестируется с большим недоумением, чем обычное слияние связей с той же конфигурацией слияния. Вес модели, составляющий в сумме единицу, также кажется оптимальным по результатам тестирования. И результаты с высоким контекстом кажутся… лучше, чем предыдущее слияние с Тесс 1.2. Я решил не включать другие тонкие настройки, такие как Dolphin, потому что они не обучаются на базе 200K. Если появятся какие-либо другие настройки 200K, дайте мне знать. Будучи моделью Yi, попробуйте отключить токен BOS и/или снизить температуру с помощью MinP (и никаких других пробоотборников), если результат кажется неправильным. По умолчанию Йи имеет тенденцию работать «горячо». Иногда модель «прописывает» токен остановки как Капибара, поэтому вам может потребоваться добавить дополнительное условие остановки. Он также может реагировать на формат чата Ламы-2. Графические процессоры с объемом памяти 24 ГБ могут запускать модели Yi-34B-200K в контексте 45K-75K с exllamav2. Я захожу в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, text-generation-inference, merge, en, endpoints_compatible
Лайков: 17 | Загрузок: 293
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
