CATIE-AQ/mistral7B-FR-InstructNLP-LoRA - Каталог нейросетей
Генерация текста

CATIE-AQ/mistral7B-FR-InstructNLP-LoRA

Добавлено:
CATIE-AQ/mistral7B-FR-InstructNLP-LoRA

Этот адаптер был создан с использованием библиотеки PEFT и позволяет точно настроить базовую модель Mistral-7B-v0.1 на 1 280 000 случайных строк набора данных французских запросов (DFP) с использованием метода LoRA. Мы обучили 21 260 288 параметров из 7 262 992 384, то есть 0,23%. Некоторые примеры из тестового сплита Dataset of French Prompts (DFP): Этот адаптер был быстро обучен (всего за 11 часов) с целью PoC и тестирования недавно выпущенной модели Mistral. Более полная работа будет включать в себя обучение большему количеству данных (используется 1M280 строк, тогда как DFP содержит более 113 М) и более (см. Изображение ниже, где функция потерь должна иметь возможность уменьшаться дальше). Также можно было бы протестировать другие адаптеры и гиперпараметры. Выбросы углерода оценивались с помощью калькулятора Machine Learning Impact, представленного в Lacoste et al. (2019). Аппаратное обеспечение, среда выполнения, облачный провайдер и вычислительная область использовались для оценки воздействия углерода. — Тип оборудования: A100 PCIe 40/80 ГБ — Используемые часы: 11 часов — Поставщик облачных услуг: Частная инфраструктура — Углеродная эффективность (кг/кВтч): 0,041 кг (по оценкам из электрических карт на день 6 октября 2023 года.) — Выбросы углерода (Потребляемая мощность x Время x Производимый углерод…

Модальности:
Генерация текста

Области применения:
Следование инструкциям


Задача: Генерация текста
Автор: CATIE-AQ
Теги: peft, fr, co2_eq_emissions
Лайков: 3  |  Загрузок: 9

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.