GGUF — это формат, основанный на существующем GGJT, но вносящий несколько изменений в формат, чтобы сделать его более расширяемым и простым в использовании. Требуются следующие функции: Однофайловое развертывание: они могут быть легко распространены и загружены и не требуют каких-либо внешних файлов для получения дополнительной информации. Расширяемость: новые функции могут быть добавлены в исполнители на основе GGML/новая информация может быть добавлена в модели GGUF без нарушения совместимости с существующими моделями. mmap compatibility: models can be loaded using mmap for fast loading and saving. Easy to use: models can be easily loaded and saved using a small amount of code, with no need for external libraries, regardless of the language used. Full information: all information needed to load a model is contained in the model file, and no additional information needs to be provided by the user. The key difference between GGJT and GGUF is the use of a key-value structure for the hyperparameters (now referred to as metadata), rather than a list of untyped values. This allows for new metadata to be added without breaking compatibility with existing models, and to annotate the model with additional information that may be useful for inference or for…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: s3nh
Теги: gguf, zh, en, endpoints_compatible
Лайков: 3 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
