В этом репозитории хранятся устаревшие кванты GGUF-IQ-Imatrix для localfultonextractor/Erosumika-7B-v2. Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели, особенно когда данные калибровки разнообразны. [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006) [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384) Для генерации данных imatrix использовался файл kalomaze groupsmerged.txt` с добавленными ролевыми чатами, вы можете найти это здесь. Это было сделано просто для того, чтобы добавить немного больше разнообразия к данным. A DARE TIES объединяет Kunocchini-7b от Nitral, Mika-7B от Epiculous и мой FlatErosAlpha, уплощенную (чтобы сохранить размер словарного запаса 32000) версию eros-7B-ALPHA от tavtav. По моему краткому тестированию, v2 является значительным улучшением по сравнению с оригинальной Erosumika; Думаю, он выиграл в лотерею DARE TIES. Альпака и Мистраль, кажется, работают лучше всего. Chat-ML может…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, text-generation-inference, instruct, conversational, roleplay, sillytavern, anime, quantized
Лайков: 4 | Загрузок: 152
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
