Это всего лишь 2- и 3-битные кванты SOTA для laserxtral. Не более того. Мяу. Матрица важности, созданная из файла group10merged.txt, включена в этот репозиторий как imatrixlaserxtral.dat`. ОБНОВЛЕНИЕ от 11 февраля 2024 г.: модели были перезагружены с использованием новой матрицы важности (group10merged.txt вместо 20krandomdata.txt), которая теоретически должна обеспечить лучшую производительность. Я не эксперт, не цитируйте меня по этому поводу. Если вы используете LM Studio, в этом репозитории есть файл modelconfig.json, который вы можете импортировать, и который уже настроен.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Absolucy
Теги: gguf
Лайков: 16 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
