В данном случае токенизатором является yitokenizer, для его загрузки требуется Trustremote_code=True Он может потреблять много видеопамяти, зависит от настроек, позволяющих использовать его на двух графических процессорах с 24 ГБ видеопамяти: без слияния, это 27 ГБ видеопамяти, понадобится немного, если вы что-то сделаете. Вы также можете позволить себе сосредоточить внимание и просто уменьшить максимальную длину до чего-то гораздо меньшего, но все же полезного. Лицензия Модели серии Yi полностью открыты для академических исследований и бесплатного коммерческого использования с разрешения через приложения. Любое использование должно соответствовать Типовому лицензионному соглашению 2.0. Чтобы подать заявку на официальную коммерческую лицензию, свяжитесь с нами (yi@01.ai).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KnutJaegersberg
Теги: llama, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
