Объединение многих моделей Yi 34B 200K с использованием нового метода DARE Ties через mergekit. Цель состоит в том, чтобы создать модель слияния, которая превосходно справляется с производительностью контекста 32K+ без какой-либо дополнительной тонкой настройки. Он может распознавать форматы ChatML и, возможно, подобные Alpaca. Необработанные подсказки, описанные здесь, также эффективны: https://old.reddit.com/r/LocalLLaMA/comments/18zqy4s/thesecrettowritingqualitystorieswith_llms/ Будучи моделью Yi, используйте более низкую температуру с MinP 0,1 или выше, небольшой штраф за повторение, возможно, миростат с низким тау и никаких других пробоотборников. По умолчанию Yi имеет тенденцию работать «горячо», и ему действительно нужна низкая температура + MinP, чтобы отсеять огромный словарный запас Yi. См. объяснение здесь: https://github.com/ggerganov/llama.cpp/pull/3841 Графические процессоры с 24 ГБ памяти могут эффективно запускать модели Yi-34B-200K в контексте 40K–90K с exllamav2 и высокопроизводительными пользовательскими интерфейсами, такими как exui. Более подробно я расскажу в этом посте. Графические процессоры с объемом памяти 16 ГБ по-прежнему могут работать в высоком контексте с агрессивным квантованием. Lonestriker также загрузил сюда квантования общего назначения: https://huggingface.co/models?sort=trending&search=LoneStriker+Yi-34B-200K-DARE-megamerge-v8. Кроме того, TheBloke загрузил экспериментальные GGUF с использованием новой иматрицы llama.cpp…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, mergekit, merge, Yi, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 89
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
