— Модели GGUF с суффиксом .gguf можно использовать с платформой llama.cpp. — Модели GGUF с суффиксом .powerinfer.gguf интегрированы с объединенными разреженными операторами FFN и разреженными головными операторами LM. Эти модели совместимы только с платформой powerinfer.   🤗 Обнимающее лицо   |   🤖 ModelScope   |    📑 Технический отчет    SmallThinker — это семейство встроенных в устройство языковых моделей Mixture-of-Experts (MoE), специально разработанных для локального развертывания и разработанных совместно IPADS и Школой искусственного интеллекта Шанхайского университета Цзяо Тонг и Zenergize AI. Разработанный с нуля для сред с ограниченными ресурсами, SmallThinker обеспечивает мощный, конфиденциальный искусственный интеллект с малой задержкой непосредственно на ваших личных устройствах, не полагаясь на облако. Вы можете развернуть SmallThinker с поддержкой разгрузки с помощью преобразователей PowerInfer == Требуется 4.53.3, мы активно работаем над поддержкой последней версии. Ниже приведен фрагмент кода, иллюстрирующий, как использовать модель для создания контента на основе заданных входных данных. ModelScope использует API Python, аналогичный (хотя и не полностью идентичный) Transformers. Для базового использования просто измените первую строку приведенного выше кода как…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Tiiny
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 36 | Загрузок: 1,357
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
