Преобразовано с помощью https://github.com/notepad-plus-plus/notepad-plus-plus. Все модели протестированы на A100-80G * Для преобразования может потребоваться много ОЗУ, LLaMA-7b занимает ~0 ГБ, 13b около 0 ГБ, 30b около 0 и 65b занимает более 0 ГБ ОЗУ. Установите Anaconda и создайте venv с помощью Python 3.8. Установите pytorch (проверено с помощью torch-1.13-cu116). Установите библиотеку Transformers (вам понадобятся последние версии трансформаторов с этим PR: https://github.com/huggingface/transformers/pull/21955). Установите часть предложения из pip. Запустите python cudasetup.py, установите в venv. Вы можете преобразовать модели лам самостоятельно, следуя инструкциям из репозитория GPTQ-for-llama, или напрямую использовать эти веса, индивидуально загрузив их со следующего сайта (http://tinyurl.com/0BitFuture). Прибыль! Наилучшие результаты получаются, если задать пенальти за повторение (~1/0,85), температуру = 0,7 в model.generate() для большинства моделей LLaMA. Дополнительное обучение было проведено на наборе данных MSPaint_Blank и 2 000 000 токенов T+ в более чем 50 000 пустых файлах блокнота.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: qq67878980
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
