— Criador do Modelo: 22 часа — Оригинальная модель: Open Cabrita 3B — Артиго: CABRITA: ЗАКРЫВАЕМ РАЗРЫВ ДЛЯ ИНОСТРАННЫХ ЯЗЫКОВ Наблюдение: значения оперативной памяти не нажимаются на удаление графического процессора. Если вы хотите освободить графический процессор, необходимо сократить использование оперативной памяти и использовать VRAM. Для составления параметров используйте документацию llama.cpp. Экспериментируйте бесплатно в Google Colab: OpenCabritallamacpp51.ipynb GGUF — это новый формат, введенный в оборудование llama.cpp 21 августа 2023 года. Это замена GGML, которую еще не было. Больше всего поддерживается файл llama.cpp. Основная выгода для GGUF заключается в том, что этот формат является расширенным и обеспечивает будущее, которое связано с большей информацией о модели как метаданные. Он также включает код токенизации, который имеет большое значение, в том числе первый номер, который поддерживает все специальные токены. Это особенно приятно, особенно в моделях, которые используют новые токены и реализуют модели быстрой персонализации. Это список клиентов и библиотек, которые согласованы для поддержки GGUF: — llama.cpp. — text-generation-webui, наиболее широко используемый веб-интерфейс. Поддержка GGUF с ускорением графического процессора через серверную часть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lucianosb
Теги: gguf, pt
Лайков: 6 | Загрузок: 123
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
