Этот репозиторий содержит файлы моделей формата GGUF для Bielik-11B-v.2.2-Instruct от SpeakLeash. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Имейте в виду, что квантованные модели демонстрируют пониженное качество отклика и возможные галлюцинации! q4km: использует Q6K для половины тензоров alert.wv и Feedforward.w2, иначе Q4K q5km: использует Q6K для половины тензоров alert.wv и Feedforward.w2, иначе Q5K q6k: использует Q8K для всех тензоров q80:** Почти неотличим от float16. Высокое потребление ресурсов и медленная работа. Не рекомендуется для большинства пользователей. Файл GGUF можно использовать с Ollama. Для этого вам необходимо импортировать модель, используя конфигурацию, определенную в Modfile. Для модели, например. Bielik-11B-v2.2-Instruct.Q4KM.gguf (полный путь к местоположению модели) Файл мода выглядит так: Разработано: SpeakLeash & ACK Cyfronet AGH Язык: польский Тип модели: только причинный декодер Количество от: Bielik-11B-v2.2-Instruct Доработано от: Bielik-11B-v2 Лицензия: Apache 2.0 и условия использования GGUF новый формат, представленный командой llama.cpp 21 августа 2023 г. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: speakleash
Теги: gguf, mistral, finetuned, pl, conversational
Лайков: 19 | Загрузок: 569
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
