Этот репозиторий содержит файлы моделей формата GGUF для Bielik-Minitron-7B-v3.0-Instruct от SpeakLeash. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Имейте в виду, что квантованные модели демонстрируют пониженное качество отклика и возможные галлюцинации! q4km: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q4K q5km: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q5K q6k: использует Q8K для всех тензоров q80: почти неотличим от float16. Высокое потребление ресурсов и медленная работа. Не рекомендуется для большинства пользователей. 16 бит: преобразовано в формат FP16 и BF16 GGUF. Файл GGUF можно использовать с Ollama. Для этого вам необходимо импортировать модель, используя конфигурацию, определенную в Modfile. Для модели, например. Bielik-Minitron-7B-v3.0-Instruct.Q4KM.gguf (полный путь к местоположению модели) Файл мода выглядит следующим образом: Разработано: SpeakLeash & ACK Cyfronet AGH Язык: Многоязычный (32 европейских языка, оптимизирован для польского) Тип модели: только причинный декодер Количество от: Bielik-Minitron-7B-v3.0-Instruct Доработано из: Speakleash/Bielik-Minitron-7B-v3.0 Лицензия: Apache 2.0 GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают…
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность Следование инструкциям
Задача: Генерация текста
Автор: speakleash
Теги: gguf, finetuned, multilingual, pl, en, sq, bel, bs
Лайков: 9 | Загрузок: 1,504
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
