Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Она была создана путем объединения дельт, представленных в приведенном выше репозитории, с исходной моделью Llama 13B с использованием кода, представленного на их странице Github. Модели 13B: неквантованная модель 13B 1.1 для графического процессора — формат HF, квантованный 4 бита GPTQ 13B 1.1 для графического процессора — защитные датчики и форматы pt * 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода ЦП. Модели 7B: неквантованная модель 7B 1.1 для графического процессора — формат HF квантованный 4 бита GPTQ 7B 1.1 для графического процессора — безопасные датчики и форматы pt * 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода ЦП 1. Перейдите на вкладку «Модель». 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/vicuna-13B-1.1-GPTQ-4bit-128g. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Нажмите значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель: vicuna-13B-1.1-GPTQ-4bit-128g. 7. Если вы видите ошибку справа внизу, не обращайте на нее внимания – это временно. 8. Проверьте правильность параметров GPTQ справа: Биты = 4, Размер группы = 128, Тип модели = Лама 9. Нажмите Сохранить настройки для этой модели вверху справа. 10. Нажмите «Обновить модель» в правом верхнем углу.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TheBloke
Теги: llama, conversational
Лайков: 206 | Загрузок: 1,530
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
