Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Это 4-битное квантование GPTQ-for-LLaMa для alpaca-lora-65B от changsung. У меня также есть 4-битные и 2-битные файлы GGML для вывода процессора, доступные здесь: TheBloke/alpaca-lora-65B-GGML. Я считаю, что они будут работать на картах 2 x 24 ГБ, и я надеюсь, что хотя бы файл 1024 ГБ будет работать на A100 40 ГБ. Я не могу гарантировать, что два файла по 128 ГБ будут работать только с 40 ГБ видеопамяти. Я еще не проверял конкретно требования к VRAM, но постараюсь сделать это в какой-то момент. Если у вас есть опыт, которым вы можете поделиться, пожалуйста, сделайте это в комментариях. Если вместо этого вы хотите попробовать вывод ЦП, посетите мой репозиторий GGML: TheBloke/alpaca-lora-65B-GGML. alpaca-lora-65B-GPTQ-4bit-128g.no-act-order.safetensors — ветка main Потребуется ~40 ГБ видеопамяти, то есть вам понадобится карта A100 или две карты по 24 ГБ. Параметры: Groupsize = 128г. Никакого приказа. Команда, используемая для создания GPTQ: alpaca-lora-65B-GPTQ-4bit-128g.safetensors — ветка gptq-4bit-128g-actorderTrue Параметры: Groupsize = 128g. действие-порядок. Команда, используемая для создания GPTQ:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 29 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
