Это чередующееся слияние Xwin-longLORA-70b-rope8-32k-fp16 и Euryale-1.3-longLORA-70b-rope8-32k-fp16 с использованием той же формулы слияния, что и goliath-120b от Alpindale. Никакой дополнительной тонкой настройки нет. Полученная модель, кажется, не сломана… вы можете проверить, действительно ли это оригинальная модель + возможность 32K (используйте линейное масштабирование веревки 8). ChuckMcSneed провел здесь тест, показывающий ухудшение производительности на 30 % при восьмикратном увеличении длины контекста. Здесь доступно 6-битное квантование EXL2. Здесь больше квантов EXL2, благодаря aikitoria. См. это обсуждение о том, как исходные слияния 70B были созданы с помощью longLORA.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: grimulkan
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
