Этот репозиторий содержит файлы моделей формата GGUF для Bielik-11B-v.2.6-Instruct от SpeakLeash. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Имейте в виду, что квантованные модели демонстрируют пониженное качество отклика и возможные галлюцинации! q4km: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q4K q5km: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q5K q6k: использует Q8K для всех тензоров q80: почти неотличим от float16. Высокое потребление ресурсов и медленная работа. Не рекомендуется для большинства пользователей. 16 бит: fp16 преобразован в формат GGUF. Файл GGUF можно использовать с Ollama. Для этого вам необходимо импортировать модель, используя конфигурацию, определенную в Modfile. Для модели, например. Bielik-11B-v2.6-Instruct.Q4KM.gguf (полный путь к местоположению модели) Файл мода выглядит следующим образом: Разработано: SpeakLeash & ACK Cyfronet AGH Язык: польский Тип модели: только причинный декодер Количество от: Bielik-11B-v2.6-Instruct Доработано от: Bielik-11B-v2 Лицензия: Apache 2.0 и условия использования GGUF новый формат, представленный командой llama.cpp 21 августа 2023 г. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. …
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: speakleash
Теги: gguf, finetuned, pl, conversational
Лайков: 14 | Загрузок: 152
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
