MPT-7b-Chat-Instruct-LongCTX-Merge Объединение моделей MPT-7b для написания историй с длинным контекстом и для короткого контекста, ориентированных на чат. Это объединенная модель, в которой используется стратегия смешивания взвешенных параметров с соотношением (20:20:60) между моделями: — [60%] — 2048 CTX MTP-7b Чат: https://huggingface.co/TehVenom/MPT-7b-chat-V — [20%] — 2048 CTX MTP-7b Инструктируем: https://huggingface.co/TehVenom/MPT-7b-instruct-V — [20%] — 65 тыс. CTX MTP-7b Сценарист: https://huggingface.co/TehVenom/MPT-7b-storywriter-Apache-2.0/ (MTP-7b Storywriter [20%] + MTP-7b Instruct [20%] ) + MTP-7b Чат [60%] Это было сделано для проверки теории о том, как «длинные контекстные» мелодии влияют на внимание при слиянии с моделью, обученной для другой цели, на более коротком интервале контекста. В отличие от первых слияний (которые имеют соотношение 50/50), это однобокое по отношению к базовой модели чата, чтобы иметь еще одну точку сравнения для эффектов слияния диапазонов CTX и иметь модель, которая в первую очередь ориентирована на чат. У этого слияния есть две цели: во-первых, посмотреть, какая часть модели 65k-Storywriter необходима для поднятия потолка размера контекста окончательной модели, и попытаться…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: TehVenom
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 1,451
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
