На этой карточке модели представлен обзор FastwebMIIA, Modello Italiano di Intelligenza Artificiale, разработанной Fastweb. FastwebMIIA, Modello Italiano di Intelligenza Artificiale, представляет собой большую языковую модель с 7 миллиардами параметров, построенную на архитектуре авторегрессионного преобразователя. Он был специально разработан и подготовлен для итальянского языка и культурного контекста. Модель была обучена на тщательно подобранном преимущественно итальянском корпусе в полном соответствии с Законом ЕС об искусственном интеллекте и национальными правилами. FastwebMIIA реализует собственный токенизатор, обученный Fastweb для оптимизации для итальянского, английского и основных языков программирования, с общим словарем 50 000 токенов. FastwebMIIA использует RoPE (Rotary Positional Embeddings) для эффективного кодирования позиционной информации в механизме внимания. Модель поддерживает расширенное контекстное окно из 16 тысяч токенов, что позволяет ей обрабатывать длинные документы, многоходовые диалоги и сложные запросы, сохраняя при этом согласованность и контекстное понимание. Тип модели/архитектура: FastwebMIIA основан на авторегрессионной (каузальной, только декодерной) архитектуре преобразователей. Он включает в себя вставки поворотного положения и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Fastweb
Теги: mistral, fastweb, conversational, it, en, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 4,019
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
