QuantFactory/gemma-2-27b-it-abliterated-GGUF - Каталог нейросетей
Генерация текста

QuantFactory/gemma-2-27b-it-abliterated-GGUF

Добавлено:
QuantFactory/gemma-2-27b-it-abliterated-GGUF

Это квантованная версия byroneverson/gemma-2-27b-it-abliterated, созданная с использованием llama.cpp. Это новый подход к удалению моделей, использующих только процессор. Мне удалось стереть эту модель с помощью бесплатной обработки Kaggle без ускорителя. 1. Получите вектор направления отказа, используя квантовую модель с llama.cpp (llama-cpp-python и ggml-python). 2. Ортогонализировать каждый файл .safetensors непосредственно из исходного репозитория и загрузить в новый репозиторий. (по одному)

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, gemma, gemma-2, chat, it, abliterated, llama-cpp, gguf-my-repo
Лайков: 7  |  Загрузок: 703

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.