LLMPruner может быть использован для работы с LLMPruner в режиме реального времени, для работы в режиме реального времени. ，减少模型参数量,降低显存占用,提升训练速度，并且能够保留预训练中学习到的知识。本项目对Bloom进行词表裁剪,保留中文token和常用的英文token,词表由2 50880, 46145, 18,39 %, 18,39 %, цвет Bloom, цвет:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YeungNLP
Теги: bloom, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Информация GPT4-X-Alpasta-30b работает с Webui для генерации текста Oobabooga и KoboldAI. Это попытка улучшить эффективность Open Assistant в...
Стандартный базовый уровень MoE, соответствующий памяти, выпущенный вместе с EMO: Pretraining Mixture of Experts for Emergent Modularity, называемый...
Модель NVIDIA Qwen3-32B FP4 — это квантованная версия модели Qwen3-32B от Alibaba, которая представляет собой авторегрессионную языковую модель,...
RWKV-3 1.5B — это модель причинного языка L24-D2048, обученная на Pile. Подробности см. на https://github.com/BlinkDL/RWKV-LM. Вышла RWKV-4 1.5B:...
