QMB15/Mythomax-L2-13B-8bit-exl2 - Каталог нейросетей
Генерация текста

QMB15/Mythomax-L2-13B-8bit-exl2

Добавлено:

Это квантизация exllama V2 модели https://huggingface.co/Gryphe/MythoMax-L2-13b. Используется целевое значение bpw 8, предназначенное для обеспечения наилучшего качества на таких видеокартах, как 3090 или аналогичных. Включает файл measurement.json для удобства квантования в другие размеры. Данные калибровки: https://huggingface.co/datasets/wikitext/resolve/refs/convert/parquet/wikitext-2-v1/test/0000.parquet Улучшенный, возможно, даже доведенный до совершенства вариант MythoMix, объединяющий мои модели MythoLogic-L2 и Huginn с использованием экспериментальной техники объединения тензоров. Основное отличие MythoMix заключается в том, что я позволил большей части Huginn смешаться с отдельными тензорами, расположенными в начале и конце модели, что привело к повышению согласованности всей структуры. Скрипт и сопутствующие шаблоны, которые я использовал для создания обеих моделей, можно найти здесь. Благодаря своей уникальной природе эта модель отлично подходит как для ролевых игр, так и для написания историй. Квантованные модели доступны у TheBloke: GGML — GPTQ (Вы — лучшие!) Идея, лежащая в основе этого объединения, заключается в том, что каждый слой состоит из нескольких тензоров, которые, в свою очередь, отвечают за определенные функции. Используя глубокое понимание MythoLogic-L2 в качестве входных данных и обширные возможности Huginn в области написания текстов…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: QMB15
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.