OCRonos — это серия специализированных языковых моделей, обученных PleIA для исправления плохо оцифрованных текстов, в составе Bad Data Toolbox. Модели OCROnos — это универсальные инструменты, поддерживающие исправление ошибок оптического распознавания символов, неправильного вырезания/слияния слов и общих нарушенных текстовых структур. Данные обучения включают в себя весьма разнообразный набор зашифрованных текстов на нескольких языках из открытого корпуса предварительного обучения PleIA, взятого из источников культурного наследия (Common Corpus) и финансовых и административных документов в открытых данных (Finance Commons). В настоящее время в этом выпуске представлена модель на основе Ламы-3-8b, которая на сегодняшний день является наиболее протестированной. Модель была обучена с использованием ресурсов HPC от GENCI–IDRIS (грант 2023-AD011014736) на Жане-Зае. Будущая версия будет ориентирована на меньшие по размеру внутренние модели, обеспечивающие лучшее соотношение стоимости и качества генерации. OCRonos, как правило, верен исходному материалу, обеспечивает разумное восстановление испорченного текста и редко переписывает правильные слова. В случае сильно испорченного контента OCRonos может действовать как инструмент синтетической перезаписи, а не как инструмент строгого исправления. Наряду с другими моделями PleIA Bad Data Toolbox, OCRonos помогает сделать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PleIAs
Теги: llama, conversational, fr, en, de, es, it, text-generation-inference
Лайков: 65 | Загрузок: 106
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
