LuxLlama — это доработанная версия модели Meta-Llama-3.1-8B-Instruct, специально адаптированная для расширения возможностей понимания и генерации люксембургского языка, а также общих и математических рассуждений. Модель была обучена на разнообразном наборе данных, сочетающем тесты рассуждений и очищенный текст на люксембургском языке, с использованием точной настройки параметров (PEFT) с LoRA и оптимизирована с использованием ядра Liger для повышения эффективности. Его производительность оценивается с помощью специального теста LUXELLA, демонстрирующего сильные возможности в таких областях, как перевод и понимание, а также выделяя области для улучшения словарного запаса и грамматики. В процессе тонкой настройки использовались вычислительные ресурсы, предоставленные Meluxina, платформой высокопроизводительных вычислений (HPC), управляемой LuxProvide. Название модели: LuxLlama Тип: Языковая модель, настроенная для задач по владению люксембургским языком и рассуждению. Базовая модель: unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit Платформы тонкой настройки: Unsloth, PEFT (LoRA), TRL (SFTTrainer) Язык(и):** Преимущественно английский и люксембургский; способен рассуждать над задачами. Цель LuxLlama — создать языковую модель, владеющую как…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aiplanet
Теги: llama, text-generation-inference, unsloth, trl, conversational, lb, en, endpoints_compatible
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
