Llama-FinSent-S — это доработанная версия oopere/pruned40-llama-1b, урезанной модели, полученной из LLaMA-3.2-1B. Процесс сокращения уменьшает количество нейронов в слоях MLP на 40 %, что приводит к снижению энергопотребления и повышению эффективности, сохраняя при этом конкурентоспособную производительность в ключевых задачах рассуждения и выполнения инструкций. Сокращение также уменьшило расширение слоев MLP с 300% до 140%, что, как видно из статьи «Изучение коэффициентов расширения GLU: структурированное сокращение в моделях Llama-3.2», является оптимальным вариантом для моделей Llama-3.2. Llama-FinSent-S в настоящее время является одной из самых маленьких моделей, предназначенных для определения финансовых настроений, которые могут быть развернуты на современных периферийных устройствах, что делает ее очень подходящей для сред с низким уровнем ресурсов. Модель была доработана для классификации финансовых настроений с использованием набора данных FinGPT/fingpt-sentiment-train. Он предназначен для анализа финансовых новостей и отчетов, классифицируя их по категориям настроений, чтобы помочь в принятии решений в финансовом контексте. Полный код, процесс обучения и дополнительную информацию можно найти в репозитории GitHub: 🔗 Репозиторий FinLLMOpt. Модель была разработана в два этапа: Сокращение: база…
Модальности:
Генерация текста
Области применения:
Анализ тональности
Задача: Генерация текста
Автор: oopere
Теги: llama, financial, sentiment, pruning, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
