Маринара сказала, что они провели много тестов по этому вопросу, поэтому я вполне уверен, что подсчитаю это здесь. Я знаю, что в их сообщении на Reddit они сказали, что используют файлы GGUF, но мне не очень нравится их использовать. Кажется, у них больше проблем (особенно с повторением) и более длительное время загрузки, поэтому я предпочитаю свой EXL2. Но, эх, каждому свое что ли. В тот день, когда мне придется перейти на GGUF, я расплачусь. Это версия этой модели EXL2 8bpw. Оригинальную модель вы можете найти здесь. Вы можете найти версию 6bpw здесь. Вы можете найти версию 4bpw здесь. Хорошо, я очень старался улучшить слияния ChatML, но все пошло не так. Все добавляют специальные токены с разными идентификаторами, поэтому даже невозможно создать для них подходящий токенизатор объединения, черт возьми. Не говоря уже о том, что я сделал несколько… интересных открытий относительно длины контекста некоторых моделей. Вы можете посмотреть, как все происходило, здесь: https://www.captiongenerator.com/v/2303039/marinaraspaghetti’s-merging-experience. Этот вариант немного отличается от моих предыдущих попыток и кажется менее склонным к повторению, особенно в более высоких контекстах, что для меня здорово! Пожалуй, даже улучшу…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Statuo
Теги: mistral, mergekit, merge, text-generation-inference, endpoints_compatible, 8-bit, exl2
Лайков: 5 | Загрузок: 73
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
