— Исходная модель: MiniCPM-1B-sft-bf16 — Создатель модели и доработанная: ModelBest, OpenBMB и THUNLP — Документ: ссылка (Примечание: MiniCPM-S-1B обозначается в документе как ProSparse-1B.) — Адаптированная версия LLaMA: MiniCPM-S-1B-sft-llama-format — Адаптированная версия PowerInfer: MiniCPM-S-1B-sft-gguf Чтобы модель могла эффективно отвечать на запрос, рекомендуется использовать стандартное приглашение чата, например: где приглашение — это текст запроса, а и — токены приглашения. Кроме того, убедитесь, что у вас есть токен bos в начале любого ввода, иначе модель иногда может вести себя некорректно. Использование разреженности активации, а именно существования значительных элементов со слабым вкладом среди выходных данных активации, является многообещающим методом ускорения вывода больших языковых моделей (LLM) (Liu et al., 2023; Song et al., 2023). Конкретно, методы ускорения, основанные на разреженности активации, обычно достигают более высокой скорости вывода за счет более разумной политики распределения ресурсов и вычислений, чтобы избежать траты ресурсов на эти слабо вносимые параметры. Принятие ReLU в качестве функции активации — это простой метод достижения разреженности активации. Однако самые последние основные программы LLM…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: MiniCPM, ModelBest, THUNLP, conversational, custom_code, en, zh
Лайков: 11 | Загрузок: 1,636
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
