Эта модель основана на bigscience/bloomz-7b1-mt. Чтобы сделать его более доступным и эффективным для некоторых китайцев , мы сократили его первоначальный словарный запас с 250 880 токенов до 46 145 токенов, используя данные китайского корпуса, следующие за bloom-6b4-zh. Это сокращение размера словарного запаса помогло значительно сократить использование памяти графического процессора, необходимого для запуска модели. В результате общее количество параметров в модели теперь составляет 6 млрд 4. 基于 bigscience/bloomz-7b1-mt,修建вложения层到 46145,主要保留中文相关的токены映射。修建后参数为6B4。
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TurboPascal
Теги: bloom, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.