Эта модель является адаптацией mistralai/Mistral-7B-Instruct-v0.2, усовершенствованной за счет применения методов обрезки слоев, как подробно описано в статье «Необоснованная неэффективность более глубоких слоев». Он включает методологии из репозиториев MergeKit и PruneMe для оптимизации своей структуры, уделяя особое внимание снижению избыточности на более глубоких уровнях модели без ущерба для ее способности генерировать связный текст. Модель поддерживается Arcee-ai и представляет собой практическую реализацию повышения эффективности вычислений в моделях большого языка (LLM), направленную на эффективный баланс производительности и использования ресурсов. Эта модель представляет собой специализированную версию mistralai/Mistral-7B-Instruct-v0.2, оптимизированную для повышения эффективности и производительности за счет выборочного сокращения слоев. Разработанный Arcee-ai, он использует результаты исследования «Необоснованная неэффективность более глубоких слоев». Процесс сокращения осуществлялся с помощью инструментов MergeKit и PruneMe, направленных на устранение избыточных слоев для обеспечения более компактной и эффективной модели, способной генерировать высококачественные текстовые результаты. — Обрезка: PruneMe GitHub (неофициальный) — Статья: «The…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: arcee-ai
Теги: mistral, #mergekit , #arcee-ai, conversational, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
