Сокращенная LLaMA — это урезанная версия моделей и вариантов LLaMA для эффективной генерации текста. — Разработано: Nota AI — Лицензия: некоммерческая лицензия — Репозиторий: https://github.com/Nota-NetsPresso/shortened-llm — Бумага: https://arxiv.org/abs/2402.02834 После выявления неважных блоков Transformer мы выполняем однократную обрезку и легкое переобучение на основе LoRA. Нажмите, чтобы увидеть рисунок метода. — Все права, относящиеся к этому репозиторию и сжатым моделям, принадлежат Nota Inc. — Использование по назначению строго ограничено исследовательскими и некоммерческими проектами. — LLM-Pruner, в котором используются оценочные ремни LM, PEFT и Alpaca-LoRA. Спасибо за новаторскую работу по структурированному сокращению LLM! — LLaMA от Meta AI и Vicuna от LMSYS Org. Спасибо за программы LLM с открытым исходным кодом!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nota-ai
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
