Квантование GGUF для ChaoticNeutrals/Prima-LelantaclesV5-7b. Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Использование llama.cpp-b2222. Для —imatrix использовался включенный эталонный файл imatrix-Q80.dat.** https://huggingface.co/ChaoticNeutrals/Prima-LelantaclesV5-7b/tree/main/ST%20presets В объединение были включены следующие модели: * Test157t/Pasta-Lake-7b + Test157t/Prima-LelantaclesV4-7b-16k Следующие модели Для создания этой модели использовалась конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference
Лайков: 4 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
