DElefant — это программа LLM, разработанная для взаимодействия с немецким языком с учетом инструкций. Эта версия построена на основе адаптированной версии BLOOM от Malte Ostendorff с переведенным и впоследствии отфильтрованным набором данных WizardLM opus-mt. Развитый набор данных привел к созданию LLM SOTA на английском языке, и мы надеемся, что, объединив набор данных с немецкой базовой моделью, мы сможем использовать возможности для различных задач, включая генерацию кода. Из-за ограничений перевода комментарии внутри блоков кода остались на английском языке, однако кодирование сохранилось в рабочем состоянии. Полная тонкая настройка модели German-BLOOM на RTX 3090 с переведенным набором данных WizardLM. При наличии достаточного спроса можно внести дополнительные корректировки: — Набор данных, созданный на родном немецком языке — Полная точная настройка более крупных LLM, например Falcon, Starcoderplus, … Обучение было основано на Llama-X с адаптированным сценарием обучения WizardLM.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SebastianBodza
Теги: bloom, de, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
