Слегка модифицированный mpt-30b, который имеет некоторые обновления, позволяющие использовать контрольные точки градиента и т. д., для совместимости с обучающим кодом qlora. Моя вилка qlora с поддержкой mpt-30b: https://github.com/jondurbin/qlora — требует добавления —mpt True для моделей на основе mpt — использует —numtrainepochs вместо —maxsteps` — использует формат приглашения airoboros (в основном 1:1 с викуньей), а не альпаку, и ожидает входной файл в формате JSONL с «инструкцией» и «ответом». Я думаю, что в этом есть ошибка накопление градиента, поэтому, если вы попробуете это, возможно, установите шаги накопления градиента равными 1. В моих первых попытках использовался размер пакета 6 с шагами накопления градиента 16, но результаты трех эпох с накоплением градиента по сравнению с без него были немного хуже. Полный пример настройки (используется для airoboros-mpt-30b-gpt4-1.4): Запустите скрипт mergeweights.py в репозитории qlora: https://github.com/jondurbin/qlora/blob/main/mergeweights.py Затем скопируйте все исходные файлы Python из репозитория mpt-30b в выходной каталог: https://huggingface.co/mosaicml/mpt-30b/tree/main
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jondurbin
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
