Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы представляют собой файлы моделей в формате GGML для Baichuan Llama 7B от Fire Balloon. Файлы GGML предназначены для вывода CPU + GPU с использованием llama.cpp, а также библиотек и пользовательских интерфейсов, которые поддерживают этот формат, например: text-generation-webui KoboldCpp LoLLMS Web UI llama-cpp-python * ctransformers Эта модель представляет собой преобразование Llama [Baichuan Inc’s Baichuan 7B]https://huggingface.co/baichuan-inc/baichuan-7B). Он содержит те же данные, но переписанные Fire Balloon в привычный формат Llama. 4-битные модели GPTQ для вывода графического процессора. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU. * Неквантованная модель fp16 в формате pytorch, для вывода графического процессора и дальнейших преобразований. Я квантовал эти «оригинальные» методы квантования, используя более старую версию llama.cpp, чтобы они оставались совместимыми с llama.cpp по состоянию на 19 мая, зафиксируйте. 2д5дб48. Они гарантированно будут совместимы с любыми пользовательскими интерфейсами, инструментами и библиотеками, выпущенными с конца мая. Эти новые методы квантования совместимы с llama.cpp по состоянию на 6 июня, коммит 2d43387. Теперь они также совместимы с последними выпусками text-generation-webui, KoboldCpp,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: zh, en
Лайков: 11 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
