IGEL — это семейство моделей LLM, разработанное для немецкого языка. Первая версия IGEL построена на основе BigScience BLOOM, адаптированного к немецкому языку от Malte Ostendorff. IGEL предназначен для обеспечения точных и надежных возможностей понимания языка для широкого спектра задач понимания естественного языка, включая анализ настроений, языковой перевод и ответы на вопросы. В настоящее время семейство IGEL включает instruct-igel-001 и chat-igel-001 (скоро). LoRA настроила BLOOM-CLP German (параметры 6.4B) с объединенными весами. 001 был разработан как простой тест, чтобы определить, возможно ли создать модель, настроенную на немецкий язык, с использованием небольшого, недостаточно обученного LLM и наивного переведенного набора данных. Целью этого теста было изучение потенциала архитектуры BLOOM для задач языкового моделирования, требующих ответов на основе инструкций. Для достижения этой цели мы использовали предварительно обученную модель LLM с ограниченным обучением и точно настроили ее, используя набор данных простых переводов контента на основе инструкций. Набор данных был создан путем получения инструкций на английском языке и перевода их на немецкий язык с помощью инструмента автоматического перевода. Хотя этот подход может привести к ошибкам в…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: philschmid
Теги: bloom, LLM, de, text-generation-inference
Лайков: 47 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
