Вы можете загрузить модель из PY007 без каких-либо изменений в llama.cpp. Чтобы использовать эту модель, вам необходимо изменить часть веревки в llama.cpp/llama.cpp. (Веревка из режима 0 в режим 2) — Создатель модели: PY007 — Исходная модель: TinyLlama 1.1B Chat v0.2 — Github: TinyLlama Этот репозиторий содержит файлы моделей формата GGUF для TinyLlama 1.1B Chat v0.2 PY007. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Ключевое преимущество GGUF заключается в том, что это расширяемый, ориентированный на будущее формат, который хранит больше информации о модели в виде метаданных. Он также включает значительно улучшенный код токенизации, включая впервые полную поддержку специальных токенов. Это должно повысить производительность, особенно с моделями, которые используют новые специальные токены и реализуют пользовательские шаблоны подсказок. Вот список клиентов и библиотек, которые поддерживают GGUF: llama.cpp. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. KoboldCpp — полнофункциональный веб-интерфейс с полным ускорением графического процессора на нескольких платформах и архитектурах графического процессора. Особенно хорош для рассказывания историй. ЛМ Студия,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kirp
Теги: gguf, en, endpoints_compatible
Лайков: 10 | Загрузок: 493
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
