— Создатель модели: Йен-Тин Линь. — Исходная модель: Языковые модели для тайваньской культуры v1.0. Этот репозиторий содержит файлы моделей формата GGUF для языковых моделей Йен-Тин Линь для тайваньской культуры v1.0. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Ключевое преимущество GGUF заключается в том, что это расширяемый, ориентированный на будущее формат, который хранит больше информации о модели в виде метаданных. Он также включает значительно улучшенный код токенизации, включая впервые полную поддержку специальных токенов. Это должно повысить производительность, особенно с моделями, которые используют новые специальные токены и реализуют пользовательские шаблоны подсказок. По состоянию на 25 августа вот список клиентов и библиотек, которые поддерживают GGUF: llama.cpp. text-generation-webui — наиболее широко используемый веб-интерфейс. Поддерживает GGUF с ускорением графического процессора через бэкэнд ctransformers — бэкэнд llama-cpp-python тоже скоро заработает. KoboldCpp теперь поддерживает GGUF начиная с версии 1.41! Мощный веб-интерфейс GGML с полным ускорением графического процессора. Особенно хорош для рассказывания историй. LM Studio версии 0.2.2 и более поздних поддерживает GGUF. Полнофункциональный локальный графический интерфейс…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: audreyt
Теги: gguf, zh
Лайков: 14 | Загрузок: 745
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
