Эта модель представляет собой доработанную версию мета-ламы/Llama-2-13b-hf для набора данных yhavinga/mc4nlcleaned (крошечный раздел) в контексте 4096 токенов. См. оригинальную версию мета-ламы/Llama-2-13b-hf для получения дополнительной информации, предполагаемого использования и предубеждений. Если вы используете эту модель или ссылаетесь на нее, пожалуйста, используйте следующую цитату: Ванрой, Б. (2023). Языковые ресурсы для моделирования голландского большого языка. https://arxiv.org/abs/2312.12852 Хотя Llama 2 уже содержит некоторые знания нидерландского языка, эта тонкая настройка предназначена для улучшения беглости голландского языка (а не увеличения его знаний). Поэтому он задуман как порождающая модель голландского языка. В остальном предвзятости, недостатки и предполагаемое использование такие же, как и в исходной модели). Модель можно использовать для генеративных задач или дорабатывать для других задач, таких как обобщение, адаптация, инструкции или точная настройка чата. Обучение проводилось на наборе данных yhavinga/mc4nlcleaned (крошечный раздел) в течение одной эпохи. Каноническое разделение проверки не использовалось, вместо этого в качестве проверки использовалось 5% поезда. Обучено с таргетингом LoRA [«qproj», «vproj»] в 4-битной версии и объединено перед загрузкой. Тренировка с использованием Flash Attention, заимствованного отсюда. Начальное обучение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BramVanroy
Теги: llama, generated_from_trainer, lora, adapters, nl, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
