ARIA 7B V2 — модель, созданная Фарадеем 🇫🇷 🇧🇪 Растущая потребность в инструментах искусственного интеллекта во всем мире создала потребность в мощности графического процессора. Мы решили создать доступную модель с лучшими навыками французского языка, которая может работать на одном графическом процессоре и уменьшить смещение данных, наблюдаемое в моделях, обученных в основном на наборах данных только на английском языке. ARIA 7B была обучена на более чем 20 000 токенах высококачественного французского набора данных. ARIA 7B — одна из лучших моделей с открытым исходным кодом в мире, доступных для такого размера параметров. Мы твердо убеждены, что модели обучения на большем количестве языковых наборов данных могут не только расширить их базу знаний, но и предоставить более открытые перспективы анализа, менее сфокусированные взгляды и мнения только из одной части мира. Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — quantmethod: bitsandbytes — loadin8bit: True — loadin4bit: False — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: fp4 — bnb4bitusedoublequant: False — bnb4bitcompute_dtype: float32
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Faradaylab
Теги: peft, llama7b, LLAMA2, opensource, culture, code, fr, en
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
