Этот репозиторий содержит веса GGUF для llama.cpp. Их поддержка была добавлена в выпуске b2636. С момента фиксации dd2d53a все веса в этом репозитории имеют шаблоны чата. В папке imatrix вы можете найти кванты imatrix. Матрица важности была обучена с использованием groupsmerged.txt` Каломазе. 1. Убедитесь, что у вас установлена версия b2636 или новее. 2. Начните с команды ниже: После фиксации 8a28d12 веса разделяются с помощью gguf-split, что означает, что вам не нужно объединять веса. Просто передайте первое разделение, как в примере выше, и llama.cpp автоматически загрузит все разделения. Если по какой-то причине вы хотите объединить разделения, вы можете использовать следующую команду:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: pmysl
Теги: gguf, endpoints_compatible, conversational
Лайков: 41 | Загрузок: 1,392
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
