avictus/oasst-sft-7-llama-30b-4bit - Каталог нейросетей
Генерация текста

avictus/oasst-sft-7-llama-30b-4bit

Добавлено:
avictus/oasst-sft-7-llama-30b-4bit

Это 4-разрядная квантованная модель GPTQ OpenAssistant LLaMA 30B SFT 7. Я использовал их инструкции для обработки данных XOR по исходным весам ламы и проверял все контрольные суммы на каждом этапе. Затем квантовали до 4-бит с помощью GPTQ с использованием форка oobabooga. Это напрямую загружается с помощью text-generation-webui. Из-за лицензии, прилагаемой к моделям LLaMA Meta AI, невозможно напрямую распространять модели на основе LLaMA. Вместо этого мы предоставляем веса XOR для моделей OA. Спасибо Мику за написание скрипта xorcodec.py ‘, который позволяет этот процесс Этот процесс тестируется только на Linux (в частности, Ubuntu). Некоторые пользователи сообщили, что этот процесс не работает в Windows. Мы рекомендуем использовать WSL, если у вас есть только машина с Windows. Чтобы использовать OpenAssistant LLaMA-Based Models, вы должны иметь копию исходных весов модели LLaMA и добавить их в подкаталог llama здесь. Если вы не можете получить оригинал LLaMA, см. примечание курсивом ниже для возможной альтернативы. Убедитесь, что ваша контрольная точка LLaMA 30B соответствует правильным суммам md5: если у вас нет копии исходных весов LLaMA и вы не можете ее получить, вы все равно сможете завершить этот процесс. Некоторые пользователи сообщили…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: avictus
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 9

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.