Experiment for DARE(Drop and REscale), most of the delta parameters can be directly set to zeros without affecting the capabilities of SFT LMs and larger models can tolerate a higher proportion of discarded parameters. weightmaskrate: 0.85 / useweightrescale: True / maskstratery: random / scalingcoefficient: 1.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: uukuguy
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 43
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.