alpindale/Mistral-Large-Instruct-2407-FP8

Этот репозиторий содержит квантованные веса для Mistral-Large-Instruct-2407. Веса были преобразованы в формат FP8 с весами FP8, активациями FP8 и кэшем FP8 KV. Для загрузки этой модели вы можете использовать vLLM или Aphrodite Engine. py из наборов данных импортируйте loaddataset из трансформаторов импортируйте AutoTokenizer из llmcompressor.transformers import SparseAutoModelForCausalLM, oneshot MODELID = «mistralai/Mistral-Large-Instruct-2407″ model = SparseAutoModelForCausalLM.frompretrained( MODELID, devicemap=»auto», torchdtype=»auto», ) tokenizer = AutoTokenizer.frompretrained(MODEL_ID) DATASETID = «HuggingFaceH4/ultrachat200k» # Или используйте свой собственный набор данных DATASETSPLIT = «trainsft» ds = loaddataset(DATASETID, Split=DATASETSPLIT) ds = ds.shuffle(seed=42).select(range(NUMCALIBRATION_SAMPLES)) def processandtokenize(пример): text = tokenizer.applychattemplate(example[«messages»], tokenize=False) return tokenizer( text,padding=False, maxlength=MAXSEQUENCELENGTH, truncation=True, addspecial_tokens=False, ) ds = ds.map(processandtokenize, Removecolumns=ds.columnnames) рецепт = «»» quantstage: quantmodifiers: QuantizationModifier: ignore: [«lmhead»] configgroups: group0: Weights:…

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: alpindale
Теги: mistral, chat, conversational, en, fr, de, es, it
Лайков: 10  |  Загрузок: 7

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.