13B-Legerdemain-L2 — это первое объединение моделей такого рода в серии моделей LLaMaV2, смешанных с использованием специального сценария, созданного CalderaAI под названием Model-REVOLVER. M-REVOLVER также является первым в серии пользовательских скриптов, основанных на концепции смешивания: конечный пользователь не только может контролировать, какие модели смешиваются и их процентное соотношение для каждого слоя, но мы решаем проблему чрезмерной сложности, которая возникает из-за такого уровня контроля; эта модель является первой в своей серии. M-REVOLVER (Быстрая эволюция с помощью оценочного ответа средства просмотра оптимизированного списка) Послойное слияние родительских моделей — это туманная и неточная наука, и поэтому непрактичная для большинства пользователей, несмотря на грубую мощь, которую оно предлагает. Мы предлагаем совершенно новый подход, который дает пользователю четкое представление о влиянии совершенно разных конфигураций слияния слоев между выбранными родительскими моделями по их выбору на потенциальную дочернюю модель — особенно на ее унаследованное поведение. Мы разработали решение MK.1 — циклический поиск случайных шаблонов, который определяет коэффициенты слияния всех слоев, объединяет тестовые модели, делает выводы о быстром завершении и удаляет прототип после сохранения сбора данных. Когда…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CalderaAI
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 1,370
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
