Эта модель представляет собой экспериментальную модель, созданную путем слияния экспертов mistralai/Mixtral-8x7B-Instruct-v0.1. старая версия слияния ~~Мы просто берем среднее значение каждых двух Expert.weight.~~ ~~То же самое касается и Gate.weight.~~ ~~~python pip install git+https://github.com/huggingface/transformers —upgrade pip install torch ускорение битсандбайтов flash_attn ~~~ ~~~python из трансформаторов импортировать AutoTokenizer, AutoModelForCausalLM, MixtralForCausalLM import torch modelnameor_path = «mmnga/Mixtral-Fusion-4x7B-Instruct-v0.1» tokenizer = AutoTokenizer.frompretrained(modelnameorpath) model = MixtralForCausalLM.frompretrained(modelnameorpath, loadin8bit=True) text = «[INST] Каков был взгляд Джона Холта на образование? [/INST] » inputs = tokenizer(text, return_tensors=»pt») выходные данные = model.generate(inputs, maxnewtokens=128) print(tokenizer.decode(outputs[0],skipspecial_tokens=True))
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mmnga
Теги: mixtral, moe, conversational, fr, it, de, es, en
Лайков: 18 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
