We pruned its vocabulary from 250880 to 46145 with Chinese corpus to reduce GPU memory usage. So the total parameter is 800m now.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Langboat
Теги: bloom, zh, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 50
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
> [!NOTE] > Примечание. В моделях «-Paddle» используются веса PaddlePaddle, а в моделях «-PT» используются веса PyTorch в...
ChaosRose-24B is a merge of pre-trained language models created using mergekit. This model was merged using the DARE...
Это предварительная реализация HuggingFace недавно выпущенной модели MoE от MistralAi. Обязательно загрузите файл с параметромtrustremotecode=True. Спасибо @dzhulgkov за...
> [!Note] > Этот репозиторий соответствует T5Gemma (настроенный по инструкциям) с кодером 9B и декодером 9B (адаптированным с...
