Это новый подход к удалению моделей, использующих только ЦП. Мне удалось стереть эту модель с помощью бесплатной обработки Kaggle без ускорителя. 1. Получите вектор направления отказа, используя квантовую модель с llama.cpp (llama-cpp-python и ggml-python). 2. Ортогонализировать каждый файл .safetensors непосредственно из исходного репозитория и загрузить в новый репозиторий. (по одному)
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: byroneverson
Теги: gemma2, gemma, gemma-2, chat, it, abliterated, conversational, en
Лайков: 19 | Загрузок: 85
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
