Эта модель представляет собой обученную с нуля версию distilgpt2 на наборе данных, где текст представляет собой музыкальные ноты. Набор данных состоит из одного потока нот из MIDI-файлов (поток с наибольшим количеством нот), где все мелодии были транспонированы либо в до мажор, либо в ля минор. Кроме того, игнорируется BPM песни, длительность каждой ноты зависит от ее четверти. Каждый элемент мелодии представлен рядом букв и цифр следующей структуры. Для ноты: ns[высота ноты в виде строки]s[длительность] Примеры: nsC4s0p25, nsF7s1p0, Для остальных: rs[длительность]: Примеры: rs0p5, rs1q6 Для аккорда: cs[количество нот в аккорде]s[высоты аккордов, разделенных буквой «s»]s[длительность] Примеры: cs2sE7sF7s1q3, cs2sG3sGw3s0p25 Следующие специальные символы заменяются в строках следующими: . = p / = q # = — = t Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0005 — trainbatchsize: 32 — evalbatchsize: 32 — начальное число: 42 — градиентаккумуляция шагов: 8 — totaltrainbatchsize: 256 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: косинус — lrschedulerwarmupsteps: 1000 — число периодов: 100 — смешанная точность обучения:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DancingIguana
Теги: tensorboard, gpt2, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 2,345
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
