Это экспериментальная смешанная модель, содержащая смесь 50/50 (средневзвешенное) по параметрам ehartford/Wizard-Vicuna-30B-Uncensored и ehartford/WizardLM-30B-Uncensored. Это усовершенствование более ранних методов смешивания моделей за счет применения слияния только к слоям, содержащим тензоры одинаковых размеров. Выборочно пропуская операции слияния на входном и выходном слоях, мы теперь можем объединять модели с разными размерами словаря (т. е. добавленными токенами) при условии, что скрытые слои имеют одинаковые размеры. Все отзывы и комментарии можно направлять Конседо в дискорде KoboldAI.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: concedo
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 1,016
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
