Марал — это просто новая крупная языковая модель, специализирующаяся на персидском языке. Эта модель основана на Mistral и обучена набору данных персидской альпаки. Эта модель — одна из немногих попыток на персидском языке, направленных на то, чтобы вдохнуть в наш язык новую жизнь в эпоху искусственного интеллекта. Кроме того, поскольку Maral основан на Mistral, он также способен выдавать ответы на английском языке. Марал — это персидское название благородного оленя, аборигенного вида оленей в Иране. Название было выбрано по целому ряду причин: одна из них заключается в наших экологических проблемах, а во-вторых, поскольку это персидская LLM, созданная иранцами, она заслуживает иранского названия. Если вы хотите использовать 4-битное квантование, у нас есть для вас PEFT. Также здесь вы можете найти блокноты Google Colab. Если у вас есть достаточно большой графический процессор, например A100, этот код для вас. Код во многом аналогичен приведенному выше, но с небольшим отличием. Убедитесь, что bitsandbytes установлен правильно. Загрузка вашей модели должна иметь вид model = AutoModelForCausalLM.frompretrained(modelnameorid, loadin8bit=True, torchdtype=torch.bfloat16, devicemap=»auto»). В бесплатной версии Google Colab вы можете столкнуться с проблемами оперативной памяти. Я думаю, используя…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MaralGPT
Теги: mistral, en, fa, text-generation-inference, endpoints_compatible
Лайков: 55 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
