Эта модель основана на TinyLlama-1.1B, конвертированной в мистральскую модель, а затем помещенной в микстраль клона. Данная модель создана экспериментально для тренировки небольшого микстраля. Без Train производительность этой модели такая же, как у TinyLlama. Во-первых, поскольку tinyllama — это модель ламы, я преобразовал ее в модель мистраля. После этого я клонировал часть FFN и сделал ее экспертной. Поскольку все они являются одним и тем же тензором, производительность не меняется. Все ворота имеют одинаковое значение. используйте colab cpu-high-memory. Эта модель была создана с экспертами = 8, но, поскольку это клон, вы можете создать столько экспертов, сколько захотите. main TinyLlama-1.1B-intermediate-step-1431k-3T старый TinyLlama-1.1B-intermediate-step-1195k-token-2.5T ~~~python pip install Transformers —upgrade pip install flash_attn биты и байты ускорить ~~~ ~~~python из трансформаторов импортировать AutoTokenizer, AutoModelForCausalLM импортировать токенизатор факела = AutoTokenizer.frompretrained(modelnameorpath) model = AutoModelForCausalLM.frompretrained(modelnameorpath, devicemap=»auto», loadin_8bit=True) с torch.nograd(): tokenids = tokenizer.encode(prompt, returntensors=»pt») outputids = model.generate( tokenids.to(model.device), dosample=True,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mmnga
Теги: mixtral, moe, en, text-generation-inference
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
