Чрезвычайно сложное стек-мега-слияние, состоящее в основном из моделей, основанных на мистрале и солнечной энергии. Этот стек для проверки концепции предназначен для демонстрации правильного способа перехода от 7b к 18b, сохраняя при этом связность/интеллект и минимизируя повторение/промахи. Это не мой рецепт. Это было спроектировано FM, так что заслуга/вина принадлежит ему. Вот как он объясняет, что здесь происходит: > Слияние «стеков» существует как альтернатива прямому слиянию моделей; его общая идея исходит из того факта, что в сложенном виде модели сохранят свой вес лучше, чем при любом слиянии. К сожалению, результаты часто не настолько предсказуемы, как нам хотелось бы, и модели в конечном итоге теряют свои важнейшие возможности, тем самым сводя на нет весь смысл их сохранения. > > В ходе нерегулярных итеративных экспериментов (январь-апрель 24 г.) были сделаны некоторые выводы: > 1) Наивное «франкенмержное» уложение срезов моделей не сохраняет входной и выходной слои участвующих моделей; однако, если указанные слои предварительно объединить и повторно использовать для всей составной модели, возможности используемых моделей, похоже, восстанавливаются, хотя и частично. >…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MarsupialAI
Теги: mistral, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
