Следующее поколение больших языковых моделей ориентировано на оптимизацию для превосходного мышления и многозадачности. Проблема способности модели понимать язык. Испытайте способность модели рассуждать на вьетнамском языке. В случае использования вьетнамского языка в нем отсутствуют акценты, сокращения или используется сленг. Версия, учитывающая понимание при создании языков, отличных от исходного языка, который изначально обучается, — это вьетнамский язык. Краткое описание эффективности модели Мистраль 7Б для обучения новому языку: отличная и низкая стоимость. Я снова начал обучение модели Ghost 7B v0.9.0 с меньшим объемом данных, его размер оценивается примерно в 150 МБ. По этим данным около 70% — вьетнамцы, остальные — почти англичане. В данном подходе QLora используется для обучения, а затем объединяет их. Кроме того, я очень благодарен Unsloth за их возможности. Чтобы было проще экспериментировать с моделью, я создал блокнот в Google Colab, чтобы вы могли начать экспериментировать. Для прямого использования вы можете легко начать, выполнив следующие шаги. Во-первых, вам необходимо установить трансформаторы с помощью приведенной ниже команды с помощью pip`. Кроме того, вы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ghost-x
Теги: mistral, ghost, conversational, en, vi, model-index, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 99
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
