Сокращенный LLM — это урезанная версия больших языковых моделей для эффективной генерации текста. — Разработчик: Nota AI — Лицензия: Некоммерческая лицензия — Репозиторий: https://github.com/Nota-NetsPresso/shortened-llm — Бумага: https://arxiv.org/abs/2402.02834 После выявления неважных блоков Transformer мы выполняем однократную обрезку. При переобучении сокращенных моделей для восстановления качества непрерывное предварительное обучение (CPT) на большом корпусе заметно превосходит настройку на основе LoRA, особенно при серьезных коэффициентах сокращения. Набор данных: SlimPajama-627B Обучение с использованием 8 графических процессоров NVIDIA H100. Параметры 5,5Б: 37Б токенов обучения (на 6 дней) Параметры 3,7Б: 74Б токенов (на 8 дней) Параметры 2,7Б: 150Б токенов (на 12 дней) Параметры 1,5Б: 271Б токенов (на 11 дней) Оптимизатор AdamW с (β1, β2)=(0,9, 0,95); скорость обучения 0,0001; снижение веса 0,1. Общий размер пакета: 512 (размер микропакета: 2 × 32 шага накопления градиента × 8 графических процессоров). Нулевая производительность в ходе обучения моделей из Vicuna-7B-v1.3 при различных коэффициентах обрезки. Для каждого размера модели продолжительность CPT была ограничена двумя неделями, но дополнительное обучение могло еще больше улучшить качество. — Все права…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nota-ai
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
