Эта модель была обучена с использованием расширенного набора из 200 000 инструкций на португальском языке. Модель призвана помочь заполнить пробел в моделях на португальском языке. Созданная на базе Мистраля 7б, модель была приспособлена в основном для учебных задач. Если вам нужна расширенная совместимость, модель Luana также имеет семейство GGUF, которое можно запускать с помощью LlamaCpp. Вы можете изучить модели GGUF, начиная со следующей: — Mistral-portuguese-luana-7b-q8-gguf — Mistral-portuguese-luana-7b-f16-gguf Изучите эту и другие модели, чтобы найти наиболее подходящую для ваших нужд! Вы можете использовать модель в ее обычной форме вплоть до 4-битного квантования. Ниже мы будем использовать оба подхода. Помните, что глаголы важны в вашей подсказке. Расскажите своей модели, как действовать или вести себя, чтобы вы могли направить ее по пути ее реакции. Подобные важные моменты помогают моделям (даже меньшим моделям, таким как 7b) работать намного лучше. Вы можете использовать Pipeline, но в этом примере я буду использовать, например, Streaming. Если у вас возникла проблема с памятью, например «CUDA Недостаточно памяти», вам следует использовать 4-битное или 8-битное квантование. Для полной модели в Colab вам понадобится A100. Если вы хотите использовать 4 или 8 бит, T4 или L4 уже решат…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rhaymison
Теги: mistral, Misral, Portuguese, 7b, conversational, pt, model-index, text-generation-inference
Лайков: 11 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
