Объединение нескольких моделей Yi 34B с единственной целью: контекст 40 тыс.+, рассказывание историй с подсказками. Разочарованный некоторыми особенностями моих предыдущих слияний кухонных моек (например, форматы токенов/инструкций из различных моделей, отображающихся там, где они не должны), я вернулся «к основам» и выбрал несколько моделей только для формата Vicuna: — DrNicefellow/ChatAllInOne-Yi-34B-200K-V1 и migtissera/Tess-34B-v1.5b имеют отличные общие характеристики. выполнение инструкций после выполнения. — cgato/Thespis-34b-v0.7 обучен формату «Имя пользователя: {Input} / BotName: {Response}», чтобы подчеркнуть его при слиянии (но не принудительно). Кажется, это также работает для историй, состоящих из нескольких персонажей. — Doctor-Shotgun/limarpv3-yi-llama-34b-lora обучен на данных ролевой игры, но объединен с небольшим весом, чтобы не переоценивать их. Это единственная модель, не относящаяся к викунье (в формате альпаки), но она, похоже, не мешает формату викуньи и не оказывает негативного влияния на недоумение в длинном контексте — adamo1139/yi-34b-200k-rawrr-dpo-2 является основой для лоры лимарпа, это база Yi, аккуратно настроенная для предотвращения отказов. — migtissera/Tess-M-Creative-v1.0 и NousResearch/Nous-Capybara-34B являются «недотренированными» моделями Yi. Я считаю, что они превосходны в сыром виде…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, mergekit, merge, Yi, exllama, exllamav2, exl2, en
Лайков: 60 | Загрузок: 126
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
