Это первая версия воссоздания roneneldan/TinyStories-1M, но с использованием архитектуры Llama. * Полный процесс обучения включен в блокнот train.ipynb. Воссоздать его так же просто, как загрузить TinyStoriesV2-GPT4-train.txt и TinyStoriesV2-GPT4-valid.txt в ту же папку с блокнотом и запустить ячейки. Содержимое проверки не используется сценарием, поэтому вы помещаете что-нибудь в каталог резервного копирования, в котором есть сценарий dobackup, который я использовал для копирования весов с удаленного компьютера на локальный. Вес генерируется слишком быстро, поэтому к моменту копирования скрипт весит N+1 * Это крайне PoC-версия. Обучение обрезает истории, длина которых превышает размер контекста, и не использует скользящее окно для обучения истории не с самого начала. * Обучение заняло примерно 9 часов (3 часа на эпоху) на 40 ГБ A100. Использовалось ~30 ГБ видеопамяти. Я использую токенайзер из openllama3b. Однако локально у меня были проблемы с этим (https://github.com/openlm-research/openllama/issues/69). У меня не было проблем на облачной машине с предустановленными библиотеками. Предоставляется скрипт проверки: valid.py. используйте его как python valid.py path/to/TinyStoriesV2-GPT4-valid.txt [optional-model-id-or-path]`: После обучения я решил, что в этом нет необходимости…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Maykeye
Теги: onnx, llama, text-generation-inference, endpoints_compatible
Лайков: 43 | Загрузок: 131,325
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
