Современные модели большого языка (LLM) ограничены фундаментальным узким местом: они генерируют текст по одному токену за раз. CALM (Непрерывные авторегрессионные языковые модели) решает эту проблему, внося сдвиг парадигмы в языковое моделирование. Вместо прогнозирования одного дискретного токена за раз, CALM учится прогнозировать один непрерывный вектор, который представляет собой целый блок из K токенов. 1. Высокоточный автокодировщик учится сжимать K токенов в один вектор и восстанавливать их с почти идеальной точностью. 2. Затем языковая модель непрерывной области выполняет авторегрессионное прогнозирование в этом векторном пространстве. 🚀 Сверхэффективность по задумке: значительно повышает эффективность обучения и вывода за счет уменьшения количества шагов авторегрессии в K раз. 💡 Новая ось масштабирования: вводит новое измерение масштабирования для LLM — семантическую полосу пропускания (K). Вместо простого масштабирования параметров и данных теперь вы можете масштабировать объем информации, обрабатываемой за один шаг. 🛠️ Комплексный набор инструментов, не требующий оценки правдоподобия:** Для работы в непрерывной области требуются новые инструменты. Этот репозиторий предоставляет полный набор алгоритмов, которые делают возможным CALM: надежный автоэнкодер для изучения…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: cccczshao
Теги: large language models, language modeling, en, endpoints_compatible
Лайков: 8 | Загрузок: 411
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
