Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы представляют собой 4-битные файлы моделей GPTQ для Galactica 30B Evol Instruct 70K от Технологического научно-исследовательского института Джорджии. 4-битные модели GPTQ для вывода с помощью графического процессора. Неквантованная модель fp16 в формате pytorch для вывода с помощью графического процессора и дальнейших преобразований. Убедитесь, что вы используете последнюю версию text-generation-webui. 1. Перейдите на вкладку «Модель». 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/galactica-30B-evol-instruct-70K-GPTQ. 3. Нажмите «Загрузить». 4. Начнется загрузка модели. По завершении появится надпись «Готово». 5. В левом верхнем углу щелкните значок обновления рядом с надписью «Модель». 6. В раскрывающемся списке «Модель» выберите только что загруженную модель: galactica-30B-evol-instruct-70K-GPTQ 7. Модель автоматически загрузится и теперь готова к использованию! 8. Если вам нужны какие-либо пользовательские настройки, установите их, а затем нажмите «Сохранить настройки для этой модели», а затем «Обновить модель» в правом верхнем углу. Обратите внимание, что вам больше не нужно и не следует устанавливать параметры GPTQ вручную. Они устанавливаются автоматически из файла quantizeconfig.json.…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: opt, galactica, wizardlm, alpaca, text-generation-inference, 4-bit, gptq
Лайков: 11 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
