Этот метод использует метод сквозной передачи mergekit для расширения блоков в модели «mistralai/Mistral-7B-Instruct-v0.2». Для каждого пятого слоя добавляется новый слой, при этом параметры oproj и downproj этих добавленных слоев инициализируются нулевым значением, что отражает подход, используемый в LLaMA Pro.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: arcee-ai
Теги: mistral, mergekit, block expansion, progressive mistral, arcee cpt, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
