— Модели GGUF с суффиксом .gguf можно использовать с платформой llama.cpp. — Модели GGUF с суффиксом .powerinfer.gguf интегрированы с объединенными разреженными операторами FFN и разреженными головными операторами LM. Эти модели совместимы только с платформой powerinfer.   🤗 Обнимающее лицо   |   🤖 ModelScope   |    📑 Технический отчет    SmallThinker — это семейство встроенных в устройство языковых моделей Mixture-of-Experts (MoE), специально разработанных для локального развертывания и разработанных совместно IPADS и Школой искусственного интеллекта Шанхайского университета Цзяо Тонг и Zenergize AI. Разработанный с нуля для сред с ограниченными ресурсами, SmallThinker обеспечивает мощный, конфиденциальный искусственный интеллект с малой задержкой непосредственно на ваших личных устройствах, не полагаясь на облако. Transformers==4.53.3 требуется, мы активно работаем над поддержкой последней версии. Ниже приведен фрагмент кода, иллюстрирующий, как использовать модель для создания контента на основе заданных входных данных. ModelScope использует API Python, аналогичный (хотя и не полностью идентичный) Transformers. Для базового использования просто измените первую строку приведенного выше кода следующим образом: — Из-за ограничений размера модели и ограничений…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Tiiny
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 37 | Загрузок: 881
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
