Это модель из https://huggingface.co/anon8231489123/gpt4-x-alpaca-13b-native-4bit-128g, преобразованная для использования в последней версии llama.cpp. Начиная с этого PR, команда llama.cpp решила внести кардинальное изменение, чтобы все версии моделей GGML, созданные до этого, больше не поддерживались. Я только что повторно выполнил преобразование из модели, отличной от GGML, с использованием последних сценариев преобразования и разместил его здесь. — Клонируйте репозиторий llama.cpp и перейдите в эту папку; — Загрузите последнюю версию с той же страницы и распакуйте ее туда; — Возьмите этот файл и поместите его в папку models/gpt-x-alpaca-13b-native-4bit-128g; — Добавьте это в ту же папку; — Все остальные мелкие файлы из репозитория добавить в эту же папку; — Запустите python3 .convert-pth-to-ggml.py models/gpt-x-alpaca-13b-native-4bit-128g 1; — Запустите ./quantize ggml-model-f16.bin gpt4-x-alpaca-13b-ggml-q40.bin q40;
Модальности:
Генерация текста
Задача: Генерация текста
Автор: stignarnia
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
