Этот репозиторий содержит файлы квантовой модели GGUF-IQ-Imatrix для Erosumika-7B-v3-0.2. «Q4KM», «Q4KS», «IQ4XS», «Q5KM», «Q5KS», «Q6K», «Q80», «IQ3M», «IQ3S», «IQ3XXS». Это означает матрицу важности, метод, используемый для улучшения качества квантованных моделей. Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели, особенно когда данные калибровки разнообразны. [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006) [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384) Для генерации данных imatrix использовался файл kalomaze groupsmerged.txt` с добавленными ролевыми чатами, вы можете найти это здесь. Это было сделано просто для того, чтобы добавить немного больше разнообразия к данным. Версия Erosumika-7B-v3 для Mistral 0.2, слияние DARE TIES между Kunocchini-7b от Nitral, InfinityRP-v1-7B от Endevor и моим FlatErosAlpha, уплощенной (чтобы сохранить размер словарного запаса 32000) версией eros-7B-ALPHA от tavtav. Альпака и ChatML работают лучше всего. Чуть умнее и лучше…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, text-generation-inference, instruct, conversational, roleplay, mistral, merge, sillytavern
Лайков: 31 | Загрузок: 377
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
