MPT-7b-InstructAndStorywriting-75_25-Merge Объединение моделей Storywriting с длинным контекстом и инструкций MPT-7b с коротким контекстом. Эта модель представляет собой объединение следующих двух моделей MPT-7b: — 2048 CTX MTP-7b Инструкция: https://huggingface.co/TehVenom/MPT-7b-instruct-V — 65k CTX MTP-7b Сценарист: https://huggingface.co/TehVenom/MPT-7b-storywriter-Apache-2.0/ Это объединение было выполнено с использованием стратегии слияния средневзвешенного значения, и конечным результатом является модель, состоящая из: Это было сделано для проверки теории того, как длинные контекстные мелодии влияют на внимание при объединении с моделью, обученной для другой цели, на более коротком интервале контекста. В отличие от первого слияния (соотношение 50/50), это однобокое по отношению к базовой модели Instruct, чтобы иметь еще одну точку сравнения для эффектов слияния диапазонов CTX и иметь модель, которая в первую очередь ориентирована на Instruct. Конечным результатом должна стать модель, способная следовать свойствам базы Instruct Assistant/Instruct/Helpful, одновременно проявляя некоторую креативность для длинной прозы. Из-за влияния MPT-7b Storywriter эта модель может генерировать контент, который считается NSFW из-за…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TehVenom
Теги: mpt, custom_code, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
