Документ: SmallThinker: семейство эффективных моделей больших языков, изначально подготовленных для локального развертывания. Код: https://github.com/SJTU-IPADS/SmallThinker Страница проекта: https://powerinfer.ai/ Хотя передовые модели больших языков (LLM) продолжают раздвигать границы возможностей, их развертывание по-прежнему ограничивается облачной инфраструктурой на базе графических процессоров. Мы бросаем вызов этой парадигме с помощью SmallThinker, семейства LLM, изначально разработанных, а не адаптированных, с учетом уникальных ограничений локальных устройств: слабой вычислительной мощности, ограниченной памяти и медленного хранения данных. В отличие от традиционных подходов, которые в основном сжимают существующие модели, созданные для облаков, мы проектируем SmallThinker с нуля, чтобы преуспеть в этих ограничениях. Наша инновация заключается в архитектуре, ориентированной на развертывание, которая преобразует ограничения в принципы проектирования. Во-первых, мы вводим двухуровневую разреженную структуру, сочетающую мелкозернистую смесь экспертов (MoE) с разреженными сетями прямой связи, что радикально снижает вычислительные требования без ущерба для мощности модели. Во-вторых, чтобы преодолеть узкое место ввода-вывода, связанное с медленным хранилищем, мы разрабатываем маршрутизатор с упреждающим вниманием, который позволяет нашему совместно разработанному механизму вывода предварительно выбирать экспертные параметры из…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Tiiny
Теги: smallthinker, feature-extraction, conversational, custom_code, en
Лайков: 59 | Загрузок: 89
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
