Модели BigWeave направлены на экспериментальное определение настроек слияния для повышения производительности модели. Номер версии просто отслеживает различные попытки и не является показателем качества. Сохраняются и передаются только результаты, демонстрирующие хорошую производительность. Это самослияние 152334H/miqu-1-70b-sf. Проводя измерения exl2, мы определяем наиболее важные слои. Слои дублируются таким образом, что каждая группа состоит из последовательных слоев с двухслойным перекрытием (т.е. более крупные группы, чем в версии 15).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llmixer
Теги: llama, merge, frankenmerge, 103b, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 72
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
