Этот репозиторий содержит файлы моделей GGUF для кросс-платформенного вывода ИИ с использованием среды выполнения WasmEdge. Узнайте больше о том, почему и как. Версия q5km — это квантованная версия моделей llama2. Они вдвое меньше исходных моделей и, следовательно, потребляют вдвое меньше видеопамяти, но при этом дают высококачественные результаты вывода. Версия f16 является GGUF-эквивалентом оригинальных моделей llama2. Он дает результаты вывода наилучшего качества, но при этом потребляет больше всего вычислительных ресурсов как видеопамяти, так и вычислительного времени. Модели f16 также отлично подходят в качестве основы для тонкой настройки. Версия q2k` — это самая маленькая квантованная версия моделей llama2. Они могут работать на устройствах с 4 ГБ оперативной памяти, но качество вывода довольно низкое.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: wasmedge
Теги: gguf, meta, llama-2, wasmedge, second-state, llama.cpp, en
Лайков: 8 | Загрузок: 123
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
