slim-category является частью серии моделей SLIM («Модель структурированных языковых инструкций»), состоящей из небольших специализированных моделей на основе декодеров, точно настроенных для вызова функций. slim-category была точно настроена для вызовов функций тематического анализа категорий, генерируя выходные данные, состоящие из словаря Python, соответствующего указанным ключам, например: Модели SLIM предназначены для генерации структурированных выходных данных, которые можно использовать программно как часть многоэтапного, многомодельного рабочего процесса автоматизации на основе LLM. Каждая тонкая модель имеет версию «квантованного инструмента», например «slim-category-tool». function = «classify» params = «category» Prompt = » » + {text} + «n» + » » + {params} + «» + «n:» model = AutoModelForCausalLM.frompretrained(«llmware/slim-category») tokenizer = AutoTokenizer.frompretrained(«llmware/slim-category») text = «Фондовый рынок вчера упал, поскольку инвесторы все больше беспокоились о замедлении экономики.» inputs = tokenizer(prompt, returntensors=»pt») startofinput = len(inputs.inputids[0]) outputs = model.generate( inputs.inputids.to(‘cpu’), eostokenid=tokenizer.eostokenid,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llmware
Теги: llama, text-generation-inference
Лайков: 6 | Загрузок: 232
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
