Этот репозиторий содержит файлы моделей формата GGUF для Bielik-4.5B-v.3.0-Instruct от SpeakLeash. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Имейте в виду, что квантованные модели демонстрируют пониженное качество отклика и возможные галлюцинации! q80: Почти неотличим от float16. Высокое потребление ресурсов и медленная работа. Не рекомендуется для большинства пользователей. fp16:** Преобразован Bielik-4.5B-v3.0-Instruct в fp16 GGUF. Файл GGUF можно использовать с Ollama. Для этого вам необходимо импортировать модель, используя конфигурацию, определенную в Modfile. Для модели, например. Bielik-4.5B-v3.0-Instruct.Q4KM.gguf (полный путь к местоположению модели) Файл мода выглядит следующим образом: Разработано: SpeakLeash & ACK Cyfronet AGH Язык: польский Тип модели: только причинный декодер Количество от: Bielik-4.5B-v3.0-Instruct Доработано от: Bielik-4.5B-v2 Лицензия: Apache 2.0 GGUF — новый Формат, представленный командой llama.cpp 21 августа 2023 г. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui — наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp, полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: speakleash
Теги: gguf, finetuned, pl, conversational
Лайков: 15 | Загрузок: 12,178
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
