LLMPruner是一个大语言模型裁剪工具，通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。 本项目对Bloom进行词表裁剪，保留中文token和常用的英文token，词表由250880将至46145，缩减为原来的18.39%。裁剪得到的Bloom模型如下表：
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YeungNLP
Теги: bloom, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Qwen1.5 — это бета-версия Qwen2, языковой модели только для декодера на основе преобразователя, предварительно обученной на большом объеме...
Генеративный предварительно обученный трансформатор с параметрами 881M для финского языка. Финские модели GPT-3 TurkuNLP представляют собой модельное семейство...
Более подробную информацию можно найти в нашей статье по адресу https://arxiv.org/abs/2403.01487. Мы опубликовали модель предварительного обучения и код...
🤗 Обнимающее лицо | 📔 Технический отчет | 📰 Блог | Поиграйтесь! 🗨️ Xiaomi MiMo Studio ...
