GGUF-квантование zaakirio/LFM2.5-1.2B-Instruct-Uncensored, децензурированной (удалённой еретиками) версии LiquidAI/LFM2.5-1.2B-Instruct. Эти файлы запускаются с помощью llama.cpp и любого созданного на его основе инструмента, например. LM Studio, Jan, koboldcpp и т. д. > Требуется последняя сборка llama.cpp. LFM2 — это гибридная (свертка + внимание) > архитектура; только сборки llama.cpp, включающие поддержку LFM2, могут загружать эти файлы. Используйте текущую версию (или текущую версию LM Studio/январь). Более старые сборки завершатся неудачно с ошибкой «неизвестная архитектура ‘lfm2’». Не знаете, что выбрать? Начните с Q4KM. Поднимитесь до Q5/Q6/Q8, если у вас есть память и вам нужна максимальная точность; переходите к Q3, только если у вас ограничена память. Найдите zaakirio/LFM2.5-1.2B-Instruct-Uncensored-GGUF в браузере модели в приложении или загрузите файл .gguf с этой страницы и загрузите его. Шаблон чата встроен в файлы GGUF, поэтому инструменты, поддерживающие чат, применяют его автоматически. Для справки: это стиль ChatML: это децензурированная производная, созданная с помощью Heretic (автоматическое направленное удаление). По сравнению с исходной инструкцией LFM2.5-1.2B: полные параметры аблитерации и подробности запуска см. в карточке исходной модели. Эта модель имела свой отказ…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: zaakirio
Теги: gguf, heretic, abliterated, decensored, uncensored, liquid, lfm2, lfm2.5
Лайков: 5 | Загрузок: 3,911
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
