— Исходная модель: MiniCPM-1B-sft-bf16 — Создатель модели и ее точная настройка: ModelBest, OpenBMB и THUNLP — Документ: ссылка (Примечание: MiniCPM-S-1B обозначается в документе как ProSparse-1B.) — Адаптированная версия PowerInfer: MiniCPM-S-1B-sft-gguf Эта модель преобразована из MiniCPM-S-1B-sft в формат LLaMA. чтобы сделать его использование более удобным. Чтобы модель умело отвечала на запрос, рекомендуется использовать стандартное приглашение чата, например: где приглашение — это текст запроса, а и — токены приглашения. Кроме того, убедитесь, что у вас есть токен bos в начале любого ввода, иначе модель иногда может вести себя некорректно. Использование разреженности активации, а именно существования значительных элементов со слабым вкладом среди выходных данных активации, является многообещающим методом ускорения вывода больших языковых моделей (LLM) (Liu et al., 2023; Song et al., 2023). Конкретно, методы ускорения, основанные на разреженности активации, обычно достигают более высокой скорости вывода за счет более разумной политики распределения ресурсов и вычислений, чтобы избежать траты ресурсов на эти слабо вносимые параметры. Принятие ReLU в качестве функции активации — это простой метод достижения активации…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: llama, MiniCPM, ModelBest, THUNLP, conversational, custom_code, en, zh
Лайков: 5 | Загрузок: 71
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
