Dolphin-2.2-yi-34b-200k, Nous-Capybara-34B, Tess-M-v1.4, Airoboros-31-yi-34b-200k, PlatYi-34B-200K-Q и Una-xaberius-34b-v1beta** объединены с новой экспериментальной реализацией «смелых связей» через mergekit. См.: > Языковые модели — это Super Mario: поглощение способностей из гомологичных моделей в качестве бесплатного обеда. Этот вариант объединен с плотностью «выше рекомендуемой» со следующей конфигурацией и токенизатором из Yi-Llama от Chargoddard: он может распознавать ChatML от Dolphin+Xaberius и Llama-chat от Airoboros. Иногда модель «прописывает» токен остановки как Капибара, поэтому вам может потребоваться добавить дополнительное условие остановки. Будучи моделью Yi, попробуйте отключить токен BOS и/или установить более низкую температуру с 0,05–0,13 MinP, небольшим штрафом за повторение и отсутствием других пробоотборников. По умолчанию Йи имеет тенденцию работать «горячо». Графические процессоры с объемом памяти 24 ГБ могут запускать модели Yi-34B-200K в контексте 45K-75K с exllamav2. В этом посте я расскажу более подробно. Я рекомендую квантование exl2, профилированное на данных, аналогичных желаемой задаче. Он особенно чувствителен к данным квантования при низком разрешении! Я опубликовал свои собственные квантования в чате викууны + написание художественной литературы здесь: 4bpw 3.1bpw Чтобы загрузить это в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, text-generation-inference, merge, en, model-index, endpoints_compatible
Лайков: 12 | Загрузок: 216
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
