Попытка объединить функциональный стиль Голиафа для создания [Etheria] 55b-200k с двумя моделями yi-34b-200k. из-за слияния он «теоретически» должен иметь контекст 200 КБ, но я рекомендую начинать с 32 КБ и двигаться вверх, поскольку неизвестно (на данный момент), что слияние сделало с длиной контекста. Это объединение VerA и VerB Etheria-55b (цифры были на удивление хорошими). Затем я создал жертвенный 55B из самой производительной модели yi-34b-200k и выполнил слияние Dare_ties и привел модель к ее текущему состоянию. Я протестировал ее до контекста 32 тыс., используя exl2, используя следующие настройки: Эта модель была объединена с использованием метода слияния DARE TIES с использованием Merged-Etheria-55b в качестве основы. Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SteelStorage
Теги: llama, mergekit, Etheria, model-index, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
