GGUF — это формат, основанный на существующем GGJT, но в него внесены некоторые изменения, чтобы сделать его более расширяемым и простым в использовании. Желательны следующие функции: Развертывание в одном файле: их можно легко распространять и загружать, и они не требуют каких-либо внешних файлов для получения дополнительной информации. Расширяемость: к исполнителям на основе GGML можно добавлять новые функции, а в модели GGUF можно добавлять новую информацию, не нарушая совместимости с существующими моделями. Совместимость с mmap: модели можно загружать с помощью mmap для быстрой загрузки и сохранения. Простота в использовании: модели можно легко загружать и сохранять с помощью небольшого объема кода без необходимости использования внешних библиотек, независимо от используемого языка. Полная информация: вся информация, необходимая для загрузки модели, содержится в файле модели, и пользователю не требуется предоставлять дополнительную информацию. Ключевое различие между GGJT и GGUF заключается в использовании структуры «ключ-значение» для гиперпараметров (теперь называемых метаданными), а не списка нетипизированных значений. Это позволяет добавлять новые метаданные, не нарушая совместимости с существующими моделями, а также аннотировать модель дополнительной информацией, которая может быть полезна для вывода или для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: s3nh
Теги: gguf, zh, en, endpoints_compatible, conversational
Лайков: 8 | Загрузок: 151
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
