CUDAVISIBLEDEVICES=0 python llama.py ehartford/WizardLM-13B-Uncensored c4 —wbits 4 —true-sequential —groupsize 128 —save_safetensors 4bit-128g.safetensors
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama, endpoints_compatible
Лайков: 34 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Каждая ветвь содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Исходная модель:...
Эта модель была обучена на наборе данных Claude Opus 4.5 (рассуждение) с большим усилием рассуждения. — ∑ Статистика...
Исходная модель: https://huggingface.co/microsoft/Phi-3.5-MoE-instruct Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Это LLaMAfied версия модели Qwen1.5-7B-Chat от Alibaba Cloud. Исходную базу кода можно найти по адресу: (https://github.com/hiyouga/LLaMA-Factory/blob/main/tests/llamafyqwen.py). Я внес...
