  🤗 Обнимающее лицо   |   🤖 ModelScope   |    📑 Технический отчет       📚 Бумага    |    💻 Репозиторий GitHub    SmallThinker — это семейство встроенных в устройство языковых моделей Mixture-of-Experts (MoE), специально разработанных для локального развертывания и разработанных совместно IPADS и Школой искусственного интеллекта Шанхайского университета Цзяо Тонг и Zenergize AI. Разработанный с нуля для сред с ограниченными ресурсами, SmallThinker обеспечивает мощный, конфиденциальный искусственный интеллект с малой задержкой непосредственно на ваших личных устройствах, не полагаясь на облако. Модель была представлена в статье SmallThinker: семейство эффективных моделей большого языка, специально подготовленных для локального развертывания. Хотя передовые модели больших языков (LLM) продолжают расширять границы возможностей, их развертывание по-прежнему ограничивается облачной инфраструктурой на базе графических процессоров. Мы бросаем вызов этой парадигме с помощью SmallThinker, семейства LLM, изначально разработанных, а не адаптированных, с учетом уникальных ограничений локальных устройств: слабой вычислительной мощности, ограниченной памяти и медленного хранения данных. В отличие от традиционных подходов, которые в основном сжимают существующие модели, созданные для облаков, мы разрабатываем SmallThinker из…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: Tiiny
Теги: moe, en, endpoints_compatible
Лайков: 111 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
