Motif-Technologies/Motif-2.6b-v1.1-LC

Motif 2.6B v1.1-LC — это обновленная версия Motif 2.6B с поддержкой длины контекста 16 КБ. Более подробную информацию вы можете найти в нашем техническом отчете. Тесты и соответствующие оценки, перечисленные в таблице ниже, взяты непосредственно из Motif-2.6B v1. «`python из импорта трансформаторов AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.frompretrained( «Motif-Technologies/motif-2.6b-v1.1-lc»,trustremotecode = True, attnimplementation = «eager», # также поддерживает flashattention_2 ).cuda() tokenizer = AutoTokenizer.frompretrained( «Motif-Technologies/motif-2.6b-v1.1-lc»,trustremote_code = True, ) query = «Какая столица Южной Кореи?» inputids = tokenizer.applychattemplate( [ {‘role’: ‘system’, ‘content’: ‘вы полезный помощник’}, {‘role’: ‘user’, ‘content’: query}, ], addgenerprompt = True, returntensors=’pt’, ).cuda() вывод = model.generate(inputids, maxnewtokens=1024, Padtokenid=tokenizer.eostokenid) вывод = tokenizer.decode(output[0, inputids.shape[-1]:],skipspecialtokens = True) print(output) «»» Столица Южной Кореи — Сеул. Это не только крупнейший город Южной Кореи, но и крупный город мира, известный своими богатыми…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: Motif-Technologies
Теги: Motif, text-generation-inference, conversational, motif, custom_code, en, ko
Лайков: 21  |  Загрузок: 171

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.