Nesso-0.4B-Agentic — это двуязычная англо-итальянская модель малого языка (SLM), оптимизированная для вызова функций, генерации структурированного вывода и шаблонов агентного выполнения. Он проходит постобучение на основе Zagreus-0.4B-ita, базовой модели, обученной с нуля сообществом mii-llm (Сделано в Италии – модель большого языка) в инфраструктуре Seeweb HPC. Разработанный для независимого вывода данных, Nesso-0.4B-Agentic предназначен для сценариев развертывания, которые требуют надежного использования инструментов, структурированного вывода JSON и многоэтапного агентного рассуждения — и все это в пределах компактного объема параметров ~ 400 млн. > ⚠️ Данная модель сейчас находится на стадии SFT (Supervised Fine-Tuning). Запланировано обучение DPO (прямая оптимизация предпочтений), обновленные результаты будут опубликованы после его завершения. Распределение токенов: ~400B английского + ~400B итальянского + ~200B кода Инфраструктура: 64 графических процессора NVIDIA A100 (8 узлов × 8 графических процессоров) на Seeweb HPC Framework: Nanotron (вилка mii-llm). Пост-обучение проводилось с использованием Axolotl с FSDP на 4 узлах (32 графических процессора A100). Набор данных инструкций представляет собой собственный двуязычный (английский/итальянский) корпус, курируемый командой mii-llm, с особым упором на вызов функций, структурированный вывод JSON, инструменты…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: mii-llm
Теги: llama, small-language-model, slm, edge-ai, italian, bilingual, function-calling, agentic
Лайков: 5 | Загрузок: 564
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
