Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Это попытка создать 4-битную GPTQ-версию Galpaca 30B. Я создал эти файлы по запросу. У меня нет предыдущего опыта работы с Galactica или Galpaca, и я не проводил большого количества испытаний, чтобы подтвердить, что результаты полезны и пригодны к использованию. galpaca-30B-4bit-128g.no-act-order.pt Создано с помощью: python3 opt.py /content/galpaca-30b c4 —wbits 4 —new-eval —groupsize 128 —save galpaca-30B-4bit-128g.no-act-order.pt * Кажется, этот файл дает полезные результаты, проверено с помощью text-generation-webui. galpaca-30B-4bit-128g.pt Создано с помощью: python3 opt.py /content/galpaca-30b c4 —wbits 4 —new-eval —act-order —groupsize 128 —save galpaca-30B-4bit-128g.pt Пока я тестировал этот файл не работает. Он производит мусорный вывод. Если у вас получится, пожалуйста, дайте мне знать! Код GPTQ, используемый для создания этих моделей, можно найти на сайте GPTQ-for-LLaMa. Обратите внимание, что во время процесса GPTQ было замечено следующее предупреждение: Длина последовательности индексов токенов превышает указанную максимальную длину последовательности для этой модели (1915 > 512). Прогон этой последовательности через модель приведет к ошибкам индексации, я не знаю, если…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: opt, galactica, alpaca, gptq
Лайков: 48 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
