Оригинальная модель: https://huggingface.co/tencent/ContextPilot-14B Детали модели: — Количество параметров: 15B — Поддержка ввода: текст — Спекулятивное декодирование: нет — Иматрица: да — Детали Не знаете, что выбрать? Grab Q4KM (9,29ГБ) — обычно хорошее сочетание размера и производительности. Инструкции по загрузке доступны здесь Эти кванты запускаются с помощью llama.cpp — устанавливаются в одну строку через llama.app: llama-server включает встроенный веб-интерфейс чата, который по умолчанию обслуживается по адресу http://localhost:8080. Эти кванты были созданы с помощью llama.cpp release b10665 — если архитектура этой модели поддерживается заново, вам понадобится этот релиз или более новый для их запуска. Они также работают в: LM Studio · koboldcpp · ramalama · Jan AI · Text Generation Web UI · LoLLMs · Atomic Chat All quants made using imatrix option, with a calibration corpus rendered through this model’s own chat template. Корпус сочетает простую прозу с разговорами о вызове инструментов и рассуждениях (исходные данные корпуса), закодированными точно так, как эта модель видит их при выводе, и обрабатывается с помощью —parse-special, поэтому специальные маркеры чат-формата вносят вклад в матрицу важности. Корпус, отображаемый для этой модели, включен в это репозиторий: tencentContextPilot-14B-calibration-v6.txt.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: bartowski
Теги: gguf, context-management, tool-use, agent, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 1,944
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
