> What-tool-8B — это доработанная языковая модель, основанная на LLaMa-3.1-8B-Instruct, оптимизированная для использования инструментов и многоходового диалога. Он обеспечивает высочайшую производительность в таблице лидеров по вызову функций Беркли (BFCL) > > Модель специально разработана для того, чтобы преуспеть в сложных сценариях использования инструментов, требующих многоэтапного взаимодействия, что делает ее идеальной для расширения возможностей таких платформ, как Lupan, инструмент построения рабочих процессов на базе искусственного интеллекта. Используя тщательно подобранный и оптимизированный набор данных, What-tool-8B демонстрирует превосходные возможности в понимании запросов пользователей, выборе подходящих инструментов и эффективном их использовании в ходе многочисленных разговоров. Область личного интереса — поиск способов оптимизации производительности логических выводов LLM при их развертывании в средах с ограниченными ресурсами, таких как стандартное оборудование, настольные компьютеры, ноутбуки, мобильные телефоны, периферийные устройства и т. д. Для достижения этой цели существует множество подходов, включая упрощение архитектуры и дистилляцию знаний, но мое внимание было сосредоточено в первую очередь на квантовании и сокращении. Метод, использованный для создания этих экспериментальных версий, описан в книге «Сжатие тензорных битов»: поиск меньших LLM, но на высоком уровне это…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: eaddario
Теги: gguf, quant, experimental, en, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 519
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
