Lloro, разработанный Semantix Research Labs, представляет собой языковую модель, обученную для эффективного выполнения анализа португальских данных на Python. Это доработанная версия codellama/CodeLlama-7b-Instruct-hf, обученная на синтетических наборах данных. Процесс тонкой настройки проводился по методике QLORA на графическом процессоре A100 с 40 ГБ оперативной памяти. Тип модели: параметр 7B, точно настроенный на синтетических наборах данных. Язык(и) (NLP): В основном португальский, но модель способна понимать и английский язык. Версия V3. Длина контекста увеличена до 2048. Набор данных для точной настройки увеличен до 74222 примеров. Даты модели: Льоро проходил обучение в период с февраля 2024 года по апрель 2024 года. Информация об обучении: Во время обучения использовались следующие гиперпараметры: Гиперпараметры QLoRA. Во время обучения использовались следующие параметры, связанные с квантованной низкоранговой адаптацией и квантованием:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: semantixai
Теги: llama, analytics, analise-dados, portugues-BR, conversational, pt, co2_eq_emissions, text-generation-inference
Лайков: 19 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
