TQCompressedGPT-2 — это усовершенствованная модель нейронной сети, предлагающая новый метод сжатия модели посредством улучшенного тензорного разложения. Он решает проблемы требований к вычислениям и хранению в задачах НЛП, вводя усовершенствование на основе перестановок в разложение Кронекера, значительно уменьшая размер модели при сохранении производительности. TQCompressedGPT2 © Terra Quantum AG, 2024, распространяется под лицензией CC BY-NC-ND 4.0. Чтобы просмотреть копию этой лицензии, посетите http://creativecommons.org/licenses/by-nc-nd/4.0/ Любой субъект, желающий использовать эту библиотеку в коммерческих целях, должен связаться с info@terraquantum.swiss для получения дополнительной информации. Уменьшение размера модели: сжимает модель GPT-2small со 124 миллионов до 81 миллиона параметров. Улучшение на основе перестановок: вводит новый алгоритм перестановки для матрицы факторизация, сводящая к минимуму снижение производительности. Эффективная стратегия обучения: использует многоэтапную дистилляцию знаний с частью (3,1%) набора данных OpenWebText. Производительность: превосходит DistilGPT-2 в сравнительных оценках. В нашей работе мы используем алгоритм на основе перестановок, который позволяет добиться лучшей аппроксимации разложения для веса…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tq-ag
Теги: gpt2, text-generation-inference
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
