Оригинальная модель: https://huggingface.co/MaziyarPanahi/calme-2.1-phi3.5-4b Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с квантованием вложений и выходных весов до Q8_0 вместо того, что они обычно используют по умолчанию. Одни говорят, что это улучшает качество, другие не замечают никакой разницы. Если вы используете эти модели, ПОЖАЛУЙСТА, прокомментируйте свои выводы. Я хотел бы получить обратную связь о том, что они действительно используются и полезны, поэтому я не продолжаю загружать кванты, которые никто не использует. Благодарим kalomaze и Dampf за помощь в создании набора данных калибровки imatrix. Спасибо ZeroWw за вдохновение для экспериментов со встраиванием/выводом. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. In order to download them all to a local folder, run: You can either specify a new local-dir (calme-2.1-phi3.5-4b-Q8_0) or download them all in place (./) A great write up with charts showing various performances is provided by Artefact2 here The first thing to figure out is how big a model you can run. To do this, you’ll need to figure out how much RAM and/or VRAM you have. If you want your model running as FAST as possible, you’ll want to fit the whole…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, chat, phi, phi3, phi3.5, finetune, en, conversational
Лайков: 3 | Загрузок: 1,766
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
