Это квантование exllama V2 https://huggingface.co/Gryphe/MythoMax-L2-13b. Использует целевое значение bpw 4,625. Включает измерение.json для удобства квантования до других размеров. Данные калибровки: https://huggingface.co/datasets/wikitext/resolve/refs%2Fconvert%2Fparquet/wikitext-2-v1/test/0000.parquet Улучшенный, потенциально даже усовершенствованный вариант MythoMix, мой MythoLogic-L2 и Huginn объединяются с использованием экспериментальной техники слияния тензорного типа. Основное отличие MythoMix заключается в том, что я позволил большему количеству Huginn смешиваться с отдельными тензорами, расположенными в начале и конце модели, что привело к повышению согласованности всей структуры. Сценарий и сопутствующие шаблоны, которые я использовал для их создания, можно найти здесь. Эта модель умеет как отыгрывать роли, так и писать истории из-за своей уникальной природы. Квантовые модели доступны на TheBloke: GGML — GPTQ (Вы лучшие!) Идея этого слияния заключается в том, что каждый слой состоит из нескольких тензоров, которые, в свою очередь, отвечают за определенные функции. Использование надежного понимания MythoLogic-L2 в качестве входных данных и обширных писательских возможностей Хьюгинна в качестве выходных данных, похоже, привело к созданию модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: QMB15
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
