Nous-Capybara-34B, Tess-M-v1.4, Airoboros-31-yi-34b-200k, PlatYi-34B-200K-Q, Pallas-0.4, Yi-34B-200K-AEZAKMI-v2 и немного SUS-Chat-34B** объединены с новой экспериментальной реализацией «смелых связей» через слияние комплект. См.: > Языковые модели — это Супер Марио: поглощение способностей гомологичных моделей в качестве бесплатного обеда. Он может распознавать ChatML или, может быть, чат ламы из Airoboros. Иногда модель «прописывает» токен остановки как Капибара, поэтому вам может потребоваться добавить дополнительное условие остановки. Будучи моделью Yi, попробуйте использовать более низкую температуру с 0,02–0,1 MinP, небольшим штрафом за повторение и без других пробоотборников. По умолчанию Yi имеет тенденцию работать «горячо», и ему действительно нужен MinP, чтобы отсеять огромный словарный запас. Графические процессоры емкостью 24 ГБ могут запускать модели Yi-34B-200K в контексте 45K–75K с exllamav2 и высокопроизводительными пользовательскими интерфейсами, такими как exui. В этом посте я расскажу более подробно. Я рекомендую квантование exl2, профилированное на данных, аналогичных желаемой задаче. Он особенно чувствителен к данным квантования при низкой скорости передачи. Я опубликовал свои собственные квантования, ориентированные на художественную литературу, здесь: https://huggingface.co/collections/brucethemoose/most-recent-merge-65742644ca03b6c514afa204. Чтобы загрузить это в полноконтекстные бэкэнды, например…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, text-generation-inference, merge, en, model-index, endpoints_compatible
Лайков: 21 | Загрузок: 388
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
