Эта модель была обучена с нуля на текстовом файле «tinyshakespeare». Крошечная модель, похожая на jploski/falcon-mini-shakespeare, для демонстрации обучения и рекуррентного вывода с использованием сохраняющей сети (https://arxiv.org/pdf/2307.08621.pdf). В коде используется реализация сохраняемой сети Сехёна Чоя (https://github.com/syncdoth/RetNet) с измененными параметрами конфигурации, чтобы сделать модель очень маленькой. Предназначен для демонстрации обучения и вывода (рекуррентного O(1)) с использованием сохраняющей сети https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt. Просто использовал один текстовый файл tinyshakespeare как набор обучения и проверки (разделенный на абзацы). См.: https://colab.research.google.com/drive/1wZnM7FCe4TsQpoamJ7NDAuQfA3DYiwHi?usp=sharing Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0006 — trainbatchsize: 32 — evalbatchsize: 32 — начальное значение: 42 -gradientaccumulationsteps: 8 — totaltrainbatchsize: 256 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — numepochs: 40 — Transformers 4.35.0 — Pytorch 2.1.0+cu118 — Наборы данных 2.14.6 — Токенизаторы 0.14.1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jploski
Теги: retnet, generated_from_trainer, endpoints_compatible
Лайков: 10 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
