Эта модель представляет собой экспериментальную модель, созданную путем слияния экспертов mistralai/Mixtral-8x7B-Instruct-v0.1. Эксперты отбираются и извлекаются. В этой модели указано 4 эксперта. используйте colab cpu-high-memory. Вы можете извлечь экспертов 1–7, выбрав экспертов в виде битовой строки. ~~~python expertextractbit = «11110000» ~~~ Convertmixtral8x7bto4x7b_extract.ipynb ~~~python pip install git+https://github.com/huggingface/transformers —upgrade pip install torch ускорение битов и байтов flash_attn ~~~ ~~~python из трансформаторов импортирует AutoTokenizer, AutoModelForCausalLM, MixtralForCausalLM import torch modelnameor_path = «mmnga/Mixtral-Extraction-4x7B-Instruct-v0.1» tokenizer = AutoTokenizer.frompretrained(modelnameorpath) model = MixtralForCausalLM.frompretrained(modelnameorpath, loadin8bit=True) text = «[INST] Каков был взгляд Джона Холта на образование? [/INST] » inputs = tokenizer(» » + text, return_tensors=»pt») outputs = model.generate(inputs, maxnewtokens=128) print(tokenizer.decode(outputs[0],skipspecial_tokens=True))
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mmnga
Теги: mixtral, moe, conversational, fr, it, de, es, en
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
