Объединение нескольких моделей Yi 34B 200K с использованием нового метода DARE Ties через mergekit. Цель состоит в том, чтобы создать модель слияния, которая превосходно справляется с производительностью контекста 32K+. Он может распознавать форматы ChatML и, возможно, подобные Alpaca. Необработанные подсказки, описанные здесь, также эффективны: https://old.reddit.com/r/LocalLLaMA/comments/18zqy4s/thesecrettowritingqualitystorieswith_llms/ Будучи моделью Yi, попробуйте использовать более низкую температуру с 0,02-0,06 MinP, небольшой штраф за повторение, возможно, миростат с низким тау и никаких других пробоотборников. По умолчанию Yi имеет тенденцию работать «горячо», и ему действительно нужна низкая температура + MinP, чтобы отсеять огромный словарный запас. Графические процессоры емкостью 24 ГБ могут эффективно запускать модели Yi-34B-200K в контексте 45K–90K с exllamav2 и высокопроизводительными пользовательскими интерфейсами, такими как exui. Более подробно я расскажу в этом посте. Графические процессоры с объемом памяти 16 ГБ по-прежнему могут работать в высоком контексте с агрессивным квантованием. Чтобы загрузить/обучить это в полноконтекстных бэкэндах, таких как преобразователи, вы должны изменить maxpositionembeddings в config.json на значение меньше, чем 200 000, иначе вы получите OOM! Я не рекомендую использовать высокий контекст без контекстно-эффективных бэкэндов, таких как exllamav2 или unsloth. Видеть:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, mergekit, merge, Yi, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 8,002
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
