— Создатель модели: Йен-Тин Лин — Исходная модель: Тайвань-LLM-7B-v2.0.1-chat Этот репозиторий содержит файлы моделей формата GGUF для тайваньской LLM Йен-Тин Лин на основе LLaMa2-7b v2.0.1-chat. Любое использование тайваньского репозитория LLM требует явного подтверждения и указания имени первоначального автора. GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Ключевое преимущество GGUF заключается в том, что это расширяемый, ориентированный на будущее формат, который хранит больше информации о модели в виде метаданных. Он также включает значительно улучшенный код токенизации, включая впервые полную поддержку специальных токенов. Это должно повысить производительность, особенно с моделями, которые используют новые специальные токены и реализуют пользовательские шаблоны подсказок. По состоянию на 25 августа вот список клиентов и библиотек, которые поддерживают GGUF: llama.cpp. text-generation-webui — наиболее широко используемый веб-интерфейс. Поддерживает GGUF с ускорением графического процессора через бэкэнд ctransformers — бэкэнд llama-cpp-python тоже скоро заработает. KoboldCpp теперь поддерживает GGUF начиная с версии 1.41! Мощный веб-интерфейс GGML с полным ускорением графического процессора.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: audreyt
Теги: gguf, zh
Лайков: 12 | Загрузок: 198
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
