slim-intent является частью серии моделей SLIM («Модель структурированных языковых инструкций»), состоящей из небольших специализированных моделей на основе декодеров, точно настроенных для вызова функций. slim-intent был точно настроен для вызовов функций анализа намерений, генерируя выходные данные, состоящие из словаря Python, соответствующего указанным ключам, например: Модели SLIM предназначены для генерации структурированных выходных данных, которые можно использовать программно как часть многоэтапного, многомодельного рабочего процесса автоматизации на основе LLM. Каждая тонкая модель имеет версию «квантованного инструмента», например «slim-intent-tool». function = «classify» params = «intent» Prompt = » » + {text} + «n» + » » + {params} + «» + «n:» model = AutoModelForCausalLM.frompretrained(«llmware/slim-intent») tokenizer = AutoTokenizer.frompretrained(«llmware/slim-intent») text = «Я действительно впечатлен качеством продукта и услуг, которые я получил на данный момент.» inputs = tokenizer(prompt, returntensors=»pt») startofinput = len(inputs.inputids[0]) outputs = model.generate( inputs.inputids.to(‘cpu’), eostokenid=tokenizer.eostokenid,padtokenid=tokenizer.eostokenid,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llmware
Теги: llama, text-generation-inference
Лайков: 9 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
