Zagreus-0.4B-ita — это двуязычная англо-итальянская базовая модель малого языка (SLM), обученная с нуля сообществом mii-llm (Сделано в Италии — модель большого языка) на инфраструктуре Seeweb HPC. Это базовая (предварительно обученная) модель — она не настраивается с помощью инструкций и предназначена для исследователей, разработчиков и практиков, которые хотят усовершенствовать или использовать высококачественную двуязычную англо-итальянскую основу. Он служит основой для всего модельного семейства Nesso. Семейство Zagreus представляет собой одну из немногих открыто выпущенных высокопроизводительных моделей малых языков, посвященных европейским романским языкам, обученных полностью на основе основных принципов с полностью прозрачным конвейером. Распределение токенов: ~400 млрд английских + ~400 млрд итальянских + ~200 млрд кодов ≈ всего 1 триллион токенов. Необработанные наборы данных были токенизированы с помощью токенизатора Llama-3.2 (meta-llama/Llama-3.2-1B) через библиотеку datatrove. Процесс длился более трех недель непрерывных вычислений на узлах ЦП через Slurm, генерируя примерно 3–5 ТБ токенизированных фрагментов данных. > Результаты Evalita служат нулевым исходным уровнем для базовой модели. Для сравнения базовой модели и варианта SFT см. Open-Zagreus-0.4B…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mii-llm
Теги: llama, small-language-model, slm, edge-ai, italian, bilingual, base-model, pretrained
Лайков: 8 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
