Эта модель была обучена с нуля на текстовом файле «tinyshakespeare». Конфигурация и код адаптированы из tiiuae/falcon-7b, с измененными параметрами конфигурации, чтобы сделать модель очень маленькой. Предназначен только для помощи в отладке GGML-порта Falcon. https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt Просто использовал один текстовый файл tinyshakespeare как набор для обучения и проверки (разделенный на абзацы). См.: https://colab.research.google.com/drive/1utyxwRbOHCxUCqkIeei2JDAlKvAleRaF?usp=sharing Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0005 — trainbatchsize: 32 — evalbatchsize: 32 — начальное значение: 42 -gradientaccumulationsteps: 8 — totaltrainbatchsize: 256 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — numepochs: 10 — Трансформаторы 4.28.0 — Pytorch 2.0.1+cu118 — Наборы данных 2.12.0 — Токенизаторы 0.13.3
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jploski
Теги: RefinedWebModel, generated_from_trainer, custom_code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
