@import url(‘https://fonts.googleapis.com/css2?family=Pacifico&display=swap’) .markdown-custom-font { font-family: «Pacifico», курсив; вес шрифта: 400; стиль шрифта: нормальный; } Это исследование демонстрирует потенциал тонкой настройки моделей большого языка английского языка (LLM) для генерации польского текста. Благодаря использованию предварительной подготовки к языковой адаптации (LAPT) на высококачественном наборе данных объемом 3,11 ГБ (276 миллионов польских токенов) и последующей точной настройке задач KLEJ модель Curie-7B-v1 достигает замечательной производительности. Он не только генерирует польский текст с самой низкой степенью запутанности 3,02 среди моделей на основе декодера, но и близко конкурирует с лучшими польскими моделями кодировщика-декодера с минимальным разрывом в производительности на 8 из 9 задач. Это было достигнуто с использованием примерно 2–3% обычно требуемого размера набора данных, что демонстрирует эффективность метода. Модель теперь имеет открытый исходный код, что способствует совместному прогрессу сообщества. На этапе LAPT использовался набор данных SpeakLeash, обширная коллекция польских текстов, в которой основное внимание уделялось извлечению высочайшего качества размером примерно 2 ГБ из исходного 1 ТБ. Эксперименты проводились на сервере с графическим процессором NVIDIA RTX A6000 ADA с 48 ГБ…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: szymonrucinski
Теги: mistral, polish, nlp, pl, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 1,383
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
