Титановая версия мета-ламы/Ламы-3.2-1Б с параллельным линеаризованным вниманием (ТПТТ 😊) и ПЭФТ. Архитектура была представлена в статье TPTT: Преобразование предварительно обученных трансформаторов в титанов. Модели большого языка (LLM) на основе преобразователей показали высокую производительность при выполнении многих задач обработки естественного языка. Тем не менее, их квадратичные требования к вычислениям и памяти, особенно на уровнях самообслуживания, создают проблемы для эффективного вывода в длинных контекстах и для развертывания в средах с ограниченными ресурсами. Мы представляем TPTT (преобразование предварительно обученных трансформаторов в титанов), структуру, предназначенную для дополнения предварительно обученных трансформаторов линеаризованным вниманием (LiZA) и вентилированием внутренней памяти с помощью Memory as Gate (MaG), применяемого без полного переобучения. TPTT поддерживает точную настройку с эффективным использованием параметров (LoRA) и интегрируется со стандартными наборами инструментов, такими как Hugging Face Transformers. Мы оценили TPTT на нескольких предварительно обученных моделях, включая Llama-1B, OlMoE-1B-7B, Qwen2.5-1.5B, Gemma3-270m, OpenELM-1.3B и Mistral-7B, чтобы оценить применимость в архитектурах разных масштабов. Эксперименты на моделях примерно с 1 миллиардом параметров, оцененные…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ffurfaro
Теги: tensorboard, tptt, peft, trust_remote_code, en, endpoints_compatible
Лайков: 6 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
