Аблитерированная версия с использованием кода из (https://github.com/andyrdt/refusal_direction). gguf (https://huggingface.co/zetasepic/Mistral-Small-Instruct-2409-abliterated-gguf)
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: zetasepic
Теги: mistral, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Эта модель представляет собой версию модели phi-4 Reasoner, в которой используется open-r1, который имитирует методологию Distill Deepseek-R1. В...
!Alpha-Instruct > Формат Marlin предназначен для небольших, быстрых моделей с минимальным компромиссом в возможностях. Используйте vllm или AutoGPTQ,...
CodeT5 — это семейство языковых моделей кодировщика-декодера для кода из статьи: CodeT5: унифицированные предварительно обученные модели кодировщика-декодера с...
Sdff-Ltba/LightChatAssistant-TypeB-2x7BをGGUF変換したものです。ファイル名にimatrixが付いているものはiMatrixを併用して量子化しています。 iMatrix作成用データとしてTFMC/imatrix-dataset-for-japanese-llmを使わせていただきました。 — 容量対精度に優れる: iQ4XS или Q4KM (製作者おすすめ) — ContextSizeを32768にしつつVRAMにフルロード: iQ3XXS — 精度重視: Q6K или Q8 — llama.cpp:複雑化する量子化バリエーションの整理(2024.02現在)...
