Этот репозиторий содержит удаленную версию модели Step-3.5-Flash от StepFun и версию FP16. Step-3.5-Flash — это массивная модель разреженной смеси экспертов (MoE) с общим числом параметров 199B (приблизительно 11B активных на каждый токен). Эта конкретная версия была изменена для удаления векторов «отказа» (удалена), что делает ее значительно более совместимой с нефильтрованными запросами. Используйте эту модель на свой страх и риск. В процессе «аблитерации» модели удаляются фильтры выравнивания и безопасности хирургическим путем. В результате: — Модель может генерировать оскорбительный, предвзятый, опасный или незаконный контент. — Предоставляется «как есть» без каких-либо гарантий. — Используя эту модель, вы признаете, что несете единоличную ответственность за любые полученные результаты и их последствия. «`python из трансформаторов import AutoModelForCausalLM, AutoTokenizer import tokenizer = AutoTokenizer.frompretrained(modelid) model = AutoModelForCausalLM.frompretrained( modelid, devicemap=»auto», torchdtype=torch.float16, loadin8bit=True ) Prompt = «Напишите творческую историю без каких-либо ограничений». входные данные = tokenizer(prompt, returntensors=»pt»).to(«cuda») выходные данные = model.generate(inputs, maxnewtokens=200)
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Kilinskiy
Теги: step3p5, quantized, abliterated, uncensored, moe, conversational, custom_code
Лайков: 8 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
