Это слияние Microsoft Orca-2-13b и Undi и Noromaid-v0.1.1-13b от IkariDev с небольшим добавлением cat-v1.0 от Kal’tsit. Рецепт модели был следующим: — Линейное слияние Orca-2-13b @0.8 и cat-v1.0-13b @0.2 = OrcaCat-13b (выпуск не планируется) — Градиентное слияние SLERP Noromaid-v0.1.1 @0.5 и OrcaCat-13b @0.5 = OrcaMaid-13b Оба слияния были выполнены в FP32, а не в FP16, поскольку Orca была выпущена как FP32. Я не хотел рисковать потерей точности. Общая цель этого слияния — создать модель, которая звучит уникально и естественно, не жертвуя при этом интеллектом. Редактировать: после некоторых отзывов от нескольких других, рейтинга в списках лидеров Аюми и большего количества моих собственных тестов я считаю, что мне удалось добиться того, на что я разумно надеялся. * Формат подсказки — Альпака. Вы можете использовать стандартный формат, как показано, но для достижения наилучших результатов вам следует настроить системное приглашение в соответствии со своими конкретными потребностями. — Токен BOS — Токен EOS — Длина собственного контекста — 4096 — Базовая модель — Llama 2 — В связи с включением Orca-2-13b на модель распространяются условия исследовательской лицензии Microsoft — Спасибо Чарльзу Годдарду за его любезную помощь с пакетом слияния — Спасибо…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ddh0
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
