Exllamav2 Квантование NoromaidxOpenGPT4-2 с частотой 3,75 бит/св из NeverSleep, квантованное с использованием набора калибровочных данных по умолчанию. В комплект входит файл измерений в формате JSON, так что вы можете выполнить свои собственные количественные расчеты. > [!ВАЖНО] >Этот bpw имеет идеальный размер для графических процессоров с объемом памяти 24 ГБ и может вместить контекст 32 КБ. Обязательно включите опцию 4-битного кэша, иначе вы столкнетесь с ошибками OOM. > [!NOTE] > Примечания: > Эта модель — одна из лучших производных микстраля для rp, и я рекомендую использовать ее с пресетом Alpaca в SillyTavern. Модель была создана путем слияния Noromaid-8x7b-Instruct с OpenGpt48x7B_v0.2 точно так же, как Rombodawg сделал свое слияние. Единственная разница между NoromaidxOpenGPT4-1 и NoromaidxOpenGPT4-2 заключается в том, что первая итерация использует Mixtral-8x7B в качестве основы для слияния (f16), тогда как вторая использует OpenGpt48x7B_v0.2 в качестве основы (bf16). После дальнейшего тестирования и использования были выпущены две модели, поскольку каждая из них обладает своими качествами. Вы можете скачать файл imatrix для выполнения многих других количественных измерений ЗДЕСЬ. Эта модель была объединена с использованием метода слияния TIES с использованием rombodawg/OpenGpt48x7B_v0.2 в качестве основы. В объединение были включены следующие модели: NeverSleep/Noromaid-v0.1-mixtral-8x7b-Instruct-v3…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: benk04
Теги: mixtral, mergekit, merge, not-for-all-audiences, nsfw, text-generation-inference, endpoints_compatible, exl2
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
