My own (ZeroWw) quantizations. output and embed tensors quantized to f16. all other tensors quantized to q5k or q6k. Result: both f16.q6 and f16.q5 are smaller than q8_0 standard quantization and they perform as well as the pure f16.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ZeroWw
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 106
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Курируют и обучают Эрик Хартфорд, Бен Гиттер, BlouseJury и Cognitive Computations. Мы благодарим щедрых спонсоров Dolphin 3.0: —...
New merge method with better results, in all aspects a improvement over the previous version. At the core...
— Mantis-Fuyu — это LMM на базе Fuyu с чередующимся текстом и изображением в качестве входных данных, обучение...
Эту модель можно настроить с помощью программного обеспечения с открытым исходным кодом H2O.ai: — h2oGPT https://github.com/h2oai/h2ogpt/ — H2O...
