Badger — это рекурсивная максимально попарно непересекающаяся нормализованная интерполяция Фурье с шумоподавлением следующих моделей: Другими словами, все эти модели деформируются и складываются вместе, а затем снова наклеиваются поверх модели инструкций. Я по-разному отнесся к моделям Meta-Llama-3-8B-Instruct-abliterated-v3 и Meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16 и вместо этого применил их на последнем этапе с добавлением задачи Фурье. Следует отметить, что я не включил в этот раздел никаких предыдущих слияний; поскольку я заметил, что это вызывало артефакты, напоминающие разведение линий. Меня спросили, что это такое. Для каждого слоя я использую mergekit io, чтобы извлечь каждый слой из каждой модели и вычесть ближайшую базовую модель (инструкция 8b или 8b). Рекурсивное попарное непересечение: используя эту информацию, я создаю стек дельт слоев. Я немного ограничен в вычислительных возможностях, поэтому рассматриваю их парами. Для определения пар я беру косинусное сходство между всеми моделями и нахожу наименьшие значения; рекурсивно объединяем пары, пока у нас не останется только один тензор. Нормализовано: я беру и делю каждый слой на его норму перед преобразованием, а затем масштабирую обратно, умножая результат на среднюю точку…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: maldv
Теги: llama, llama3, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
