В моделях Sparse-Llama-3.1 используется полуструктурированная разреженность 2:4, что позволяет увеличить размер модели в 2 раза и сократить объем вычислений. Изучите блог, посвященный запуску, чтобы узнать больше о Sparse-Llama-3.1 и его потенциале для эффективного и масштабируемого развертывания ИИ. Вы также можете найти все доступные модели в нашей коллекции Neural Magic HuggingFace. Хотите использовать разреженные модели? Если вы стремитесь снизить затраты на развертывание, повысить производительность вывода или создать высокооптимизированные версии для нужд вашего предприятия, Sparse Llama станет идеальной основой. Эти модели обеспечивают высочайшую эффективность благодаря структурированной разреженности 2:4, что обеспечивает экономичное масштабирование без ущерба для точности. Свяжитесь с нами, чтобы узнать, как мы можем помочь интегрировать разреженность в ваши рабочие процессы ИИ. — Архитектура модели: Llama-3.1-8B — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Разреженность: 2:4 — Дата выпуска: 20.11.2024 — Версия: 1.0 — Лицензии: llama3.1 — Разработчики модели: Neural Magic Это разреженная версия Llama-3.1-8B с соотношением сторон 2:4. В тесте OpenLLM (версия 1) он достигает среднего балла 62,16 по сравнению с 63,19 для плотной модели, демонстрируя восстановление точности 98,37%. В тесте Mosaic Eval Gauntlet…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RedHatAI
Теги: vllm, sparsity
Лайков: 62 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
