Исследование и разработка модели xLSTM, обученной на немецкой Википедии. Команда Flair в настоящее время работает над интеграцией xLSTM (как для обучения LM, так и для точной настройки моделей для последующих задач). Для предварительного обучения этой модели xLSTM мы использовали форк (от Патрика Халлера) потрясающей библиотеки Helibrunna от Tristan. Изначально мы интегрировали обучение модели xLSTM во Flair — дополнительную информацию об этом можно найти в заархивированной ветке flair-old этого репозитория. — 09.09.2024: Мы обнаружили (потенциальную) ошибку в коде предварительного обучения: при использовании всего корпуса Википедии, к сожалению, используются только первые 512 субтокенов каждой статьи. Мы реализуем подход, основанный на группировке, который токенизирует весь корпус и группирует его на 512 фрагментов субтокенов. Переобученная версия доступна уже сейчас. — 29.08.2024: Загружена переобученная модель для 1 эпохи по всему корпусу немецкой Википедии. Обучение проводилось с градиентным отсечением (0,25). — 28.08.2024: Обучение модели теперь осуществляется с помощью вилки Helibrunna — ее можно найти здесь. — 10.06.2024: Начальная версия. xLSTM был обучен с помощью библиотеки Flair, см. эту старую ветку. Текущая модель была обучена с помощью коммита a1b3772 из основной ветки…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: stefan-it
Теги: xlstm, custom_code, de, endpoints_compatible
Лайков: 10 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
