Эти файлы представляют собой файлы 4-битной модели GPTQ для «нецензурированной» версии WizardLM Эрика Хартфорда. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. Эрик провел новое обучение 7B с использованием метода WizardLM на наборе данных, отредактированном для удаления всех ответов ChatGPT типа «Извините…». 4-битные модели GPTQ для вывода с помощью графического процессора 4- и 5-битные модели GGML для вывода с использованием ЦП * Неквантованная модель Эрика в формате HF 1. Перейдите на вкладку «Модель». 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/WizardLM-7B-uncensored-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Нажмите значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель WizardLM-7B-uncensored-GPTQ. 7. Если вы видите ошибку справа внизу, не обращайте на нее внимания – это временно. 8. Заполните параметры GPTQ справа: Биты = 4, Groupsize = 128, modeltype = Llama 9. Нажмите Save settings for this model вверху справа. 10. Нажмите «Обновить модель» в правом верхнем углу. 11. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста»** и введите приглашение! Совместимый файл — WizardLM-7B-uncensored-GPTQ-4bit-128g.compat.no-act-order.safetensors В основной ветке — по умолчанию…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama
Лайков: 10 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
