Если вам нужна расширенная совместимость, модель Luana также имеет семейство GGUF, которое можно запускать с помощью LlamaCpp. Вы можете изучить модели GGUF, начиная с приведенной ниже: Изучите эту и другие модели, чтобы найти наиболее подходящую для ваших нужд! Эта модель была обучена с использованием расширенного набора из 300 000 чатов на португальском языке. Модель призвана помочь заполнить пробел в моделях на португальском языке. Тюнингованная из Llama3 8B модель была приспособлена в основном для общения. Вы можете использовать модель в ее обычной форме вплоть до 4-битного квантования. Ниже мы будем использовать оба подхода. Помните, что глаголы важны в вашей подсказке. Расскажите своей модели, как действовать или вести себя, чтобы вы могли направить ее по пути ее реакции. Подобные важные моменты помогают моделям (даже меньшим моделям, таким как 8b) работать намного лучше. Если у вас возникла проблема с памятью, например «CUDA Недостаточно памяти», вам следует использовать 4-битное или 8-битное квантование. Для полной модели в Colab вам понадобится A100. Если вы хотите использовать 4 или 8 бит, T4 или L4 уже решат проблему. Подробные результаты можно найти здесь и в таблице лидеров 🚀 Open Portugal LLM.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: rhaymison
Теги: llama, portugues, portuguese, QA, instruct, conversational, pt, model-index
Лайков: 13 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
