13B-Thorns-l2 использует новый метод слияния, называемый сферической линейной интерполяцией. Благодаря объединению данных в виде концепции сферического векторного хранилища объединенная пара моделей имеет более плавный переход между пространствами признаков, характерными для каждой модели, что приводит к более согласованному слиянию уникальных сильных сторон обеих моделей. Дизайн Thorns основан на концепции целенаправленной сегментации, в данном случае у нас есть две точно настроенные родительские модели, которые были выбраны вручную и проверены на предмет наборов данных, производительности, наименее ограничительной цензуры и восприятия сообществом согласованности и полезности. В конечном итоге мы решили объединить четыре модели в пары по две, а затем объединить эти потомки в четырехобъединенный логический кластер. Все четыре модели были объединены с использованием метода SLERP. Да, название раздражающе смешное. СЛЕРП. Затем мы решили, что сегмент творчества и воображения может быть таким же простым, как одна модель, особенно если ее дизайн набора данных, маркировка, качество обучения и проверенный послужной список превосходят все ожидания. Модель Holodeck от KoboldAI — это результат набора данных, который представляет собой годы сбора, организации, тегирования, дедупликации и очистки данных. Одного Голодека было бы недостаточно для сегмента, который мы рассматриваем как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: CalderaAI
Теги: llama, alpaca, cot, vicuna, uncensored, merge, mix, text-generation-inference
Лайков: 15 | Загрузок: 1,633
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
