Я взял слои оригинального Мистраля-7Б и продублировал несколько слоев. Это первый метод Франкенштейна, который я нашел «приемлемым» для расхода Мистраля. Кажется, что первые 8 слоев модели очень важны, поскольку наличие дубликатов этих слоев в модели заставляет меня думать, что это сбивает модель с толку.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Undi95
Теги: mistral, pretrained, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 211
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
