Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной. В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая: >eostokenid = eostokenid[0] >IndexError: list index out of range Исправляется легко, в файл modules/models.py в функцию loadtokenizer() надо добавить строчку tokenizer.eostoken_id = 2 перед return tokenizer >И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку. > >— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда. > >Я попытался ответить ему, но слова застряли у меня во рту. В моем разуме всплыла картина того, что произошло со мной после возвращения в реальность. Мне вспомнились все мои страхи и сомнения, которые я испытывал перед лицом этого существа. И теперь я понял, почему оно так сильно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: zlsl
Теги: gpt2, russian, warhammer, wh40k, warhammer40k, ru, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
