Просто ориентированное на художественную литературу квантование exl2 в формате 4bpw https://huggingface.co/jondurbin/bagel-dpo-34b-v0.2, квантованное на 300 тысячах токенов двух чатов формата Vicuna, научно-фантастического рассказа и художественного рассказа в длинном контексте. Это должно обеспечить более высокую производительность написания историй, чем квантование exl2 по умолчанию. Если кому-то нужны размеры, отличные от 4 бит в секунду, для большего/меньшего контекста или меньших графических процессоров, просто спросите. Будучи моделью Yi, попробуйте использовать более низкую температуру с ~ 0,05 MinP, небольшой штраф за повторение, возможно, миростат с низким тау и никаких других пробоотборников. По умолчанию Йи имеет тенденцию работать «горячо». Графические процессоры с объемом памяти 24 ГБ могут работать с моделями Yi-34B-200K в контексте 45K–75K с exllamav2 и высокопроизводительными пользовательскими интерфейсами, такими как exui. Подробнее я расскажу в этом посте
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
